행렬 곱을 각 행벡터 X 열벡터들의 외적의 합으로 계산 (Sum of (Rank-1) Outer Products)
Word 임베딩(word to vec), principle component analysis(주성분 분석), Singular Value Decomposition(특이값 분해) 등에 사용
큰 벡터를 Low rank Factorization (작은 벡터들의 합; 낮은 순위 인수분해)로 나타내는 기법
Linear independent (선형 독립) / Linear dependent (선형 종속)
재료벡터들의 Span안에 상수벡터가 존재하면 해가 1개 이상 존재.
but 해는 Unique할 것인가? 는 확실치 않다.
재료 벡터들이 만드는 평행사변형을 늘이고 줄여서 상수벡터를 만드는 것 = 해
평행사변형이 딱 하나만 만들어진다 = 선형 독립
추가된 재료벡터가 기존의 벡터들이 만드는 span에 포함됨 = 평행사변형을 여러개 만들 수 있음
span [v_1, v_2] = span [v_1, v_2, v_3]
ex) 재료벡터 v_1, v_2 2개가 만드는 span은 평면을 만든다, 이때 새로운 재료벡터 v3가
이 평면에 포함되는 경우, 여러개의 평행사변형을 만들수 있고 선형 종속에 해당함
재료벡터가 3개 이상인 경우 매번 새로운 재료벡터에 대해
이들이 span의 차원을 늘려주는지 확인해보고 모든 재료벡터에 대해
차원이 늘어나면 선형 독립에 해당됨
행의 개수 < 열의 개수인 경우 볼필요도 없이 선형 종속임 = 해가 무수히 많다
'방정식의 개수 < 미지수의 개수 = 해가 무수히 많다'와 동일한 매커니즘
-> 연립방정식으로 치환해보면 x+y = 1, 2x+2y =2 를 만족하는 x,y는 무수히 많음
특정 재료벡터의 상수배로 다른 재료벡터가 존재한다. (곤란)
Formal Definition
x_1v_1 +x_2v_2+...+ x_nv_n = 0(영벡터)
한 벡터를 나머지 벡터들의 합으로 나타낼 수 있다
Non trivial Solution (x_1 = 1일때, v_1이 나머지 벡터의 선형결합으로 이루어짐 = 해가 여러개 = 선형 종속)
모든 x_1, x_2, ... x_n =0인경우 위 방정식은 언제나 성립
이 경우는 trivial Solution이라고 함(시시해서) - '기본 평행사변형 모양'
이거 외에 또다른 해가 존재 = linear dependent (해가 2개 이상)
Subspace (span과 유사한 개념; 부분공간)
공간에 대한 Subset(부분집합; 모든 3차원 벡터) 선형결합에 닫혀 있으면 subspace라고 함(?)
(특정 집합이 곱셈에 닫혀있다 :원소들의 곱이 모두 집합에 포함되어있음)
특정 벡터들의 집합에서, 특정 벡터의 선형결합들이 모두 집합에 포함되어있음 = subspace (span과 유사한 개념)
재료벡터 -> 상수곱들로 span을 만듬
발상의 전환
subspace가 있을때, 특정 벡터 하나의 span을 뽑았을때 subspace와 같은가
모자라면 (선형독립인) 여러 벡터들로 subspace를 채울 수 있으면,
이 벡터들을 basis(기저벡터)라고 한다.
ex) subspace가 3차원 공간이라면, 직교좌표 x,y,z 혹은 구좌표 r,Θ,Φ가 기저벡터가 됨
직교좌표의 x, y, z 는 선형 독립!
위의 예시에서 나왔듯 기저벡터는 unique하지 않다.
Change of Basis (기저벡터 변환) 도 가능
Dimension of Subspace = 기저벡터의 개수
3차원벡터 [1, 2, 3] 의 standard basis => [1,0,0],[0,1,0],[0,0,1]의 선형결합으로 나타낼 수 있음
하나의 열벡터로 만드는 공간 = Column Space = 재료벡터
Rank A = dim Column A
Data(행) Feature(열)
Feature 간의 상관관계가 강하면 선형종속이 될 가능성이 높다.
-> 만드는 span이 작다. Rank가 낮아짐 -> overfitt 가능성이 높다
상관계수가 다른 Feature와 1에 가까운 경우 이 Feature는 빼주는것이 좋다.
