선형대수학 정리#4 선형독립linearly independent, 공간space 그리고 정사영orthogonal projection

Clay Ryu's sound lab·2022년 1월 2일

Mathmatics for ML

목록 보기

3/13

목표

1.벡터를 좌표로 접근하는 것을 넘어서서 하나의 공간을 만들어내는 선형조합을 중심으로 생각해본다.
2.행렬의 공간을 공부하기에 앞서서 벡터를 중심으로 정사영에 대해서 알아본다.

선형조합(선형결합, 일차결합)linear combination

1.일반적인 정의
벡터의 스칼라배(가중치)들이 합으로 연결된 형태
c1x1+c2x2+⋯+cNxN

2.선형변환(일차변환)의 꼴에서 벡터가 행렬과 벡터의 곱으로 표현될때
y = Ax

선형종속(1차종속)linearly independent과 선형독립(1차독립)linearly dependent

n x n 정방행렬 A가 고유값분해가 가능하려면 행렬 A가 n개의 일차독립인 고유벡터를 가져야 한다.

https://rfriend.tistory.com/163 참고

선형독립 : 해가 존재하되, 그 해들의 값은 0으로 이루어져 있다.

선형종속 : 해가 존재하되, 그 해의 값 중 하나라도 0이 아니라면 그 벡터들은 선형종속이다.

선형종속인 경우

예측모형을 만들기 위한 특징행렬 X의 열벡터들이 선형종속이거나 선형종속에 가까운 현상을 다중공선성(multicollinearity)이라고 부른다. 다중공선성이 발생하면 예측의 성능이 나빠지므로 되도록 이러한 경우가 발생하지 않도록 주의해야 한다.

1.벡터의 개수(미지수의 개수)가 벡터의 차원(방정식의 개수)보다 크면 선형종속이다.

3차원 벡터에 대해서 벡터의 개수가 4개라면
c1x1 + c2x2 + c3x3 + c4x4 = 0
즉, 미지수가 4개인 3개의 방정식이 생성된다.
미지수가 방정식의 개수보다 많으면 최소한 하나의 미지수는 그 해가 무수히 많게 된다.

2.값이 같은 벡터가 있으면(벡터의개수+1) 반드시 선형종속이다.

어떤 벡터들의 집합 {v1, ..., vn}이 있을 때, 이들 벡터들 중 어느 한 벡터도 다른 벡터들의 일차결합으로 표현될 수 없을때 이 벡터들은 서로 일차독립이라고 정의한다.
만약 i번째 벡터 xi와 j번째 벡터 xj가 같으면 cj=−ci로 놓고 다른 c값은 모두 0으로 하면

0⋅x1+⋯+ci⋅xi+⋯+cj⋅xj+⋯+0⋅xN = 
0⋅x1+⋯+ci⋅xi+⋯+(−ci)⋅xj+⋯+0⋅xN = 0

3.어떤 벡터가 다른 벡터의 선형조합이면 반드시 선형종속이다.

예를 들어 벡터 x1과 다른 벡터 x2,x3 사이에 다음 관계가 성립한다고 하자. 그러면 c1=−1, c2=2, c3=−3일 때

x1 = 2x2 −3x3이면
−1⋅x1 + 2x2 −3x3 = 0이다.

기저base/basis

https://rfriend.tistory.com/164?category=606751 참고

기저와 선형독립의 관계

선형독립이 될 수는 있지만 기저의 역할을 수행할 수 없는 경우가 있다. n차원 공간은 최대 n개의 선형독립인 벡터들을 가질 수 있으며 n개의 일차독립인 벡터들은 이 공간을 생성하는 기저(basis) 역할을 수행한다. 따라서 기저의 역할을 하기 위해서는 반드시 선형독립이어야 한다. 그리고 선형독립인 벡터들은 '특정 공간'을 구성하는 기저의 역할을 할 수 있다.

각 차원별로 하나의 값을 가질 필요가 있기에(3차원에서 z값을 가지는 벡터가 하나도 없다면?) n차원 공간의 기저역할을 위해서는 반드시 n개의 벡터가 필요하며 최소개수라는 정의에 의해서 n+1개가 되어서도 안된다.

1.특정 벡터공간을 구성(span)하는 선형독립 벡터들의 최소 개수인 Basis은 여러개이다.(not unique)
-> 2차원 평면을 구성하는 데 있어서 최소 선형독립 벡터로는 [1,0]과 [0,1] 이 있을 수 있고 또 [1,0], [1,1] 이 있을 수 있기 때문이다.

2.하지만 특정한 Basis안에서의 벡터들의 Linear Combination의 Scala값은 Unique하다!(즉, 선형결합이 Unique하다.)