SVD (singular vector decomposition)

• eigen decomposition에서 nxn 형태 밖에 안되던 문제를 mxn도 decomposition되도록 함
• symetric metrix가 아니여도 decomposition 가능
• 세 개의 다른 행렬의 곱으로 분해할 수 있음 ($U, V$: orthogonal max)
  $A = U\Sigma V^T$

SVD 증명

• 증명하는 과정을 서술하면 아래와 같음

  $A^T A$는 symetric행렬이니 서로 수직인 고유벡터($V$)를 찾고, 이걸 행렬 A에 통과시켰더니 $U$ 또한 서로 직교하는 고유벡터(U) 이다.

1. $A^T A$의 고유벡터($V$)를 찾음
2. 고유벡터($V$)를 A로 보내면 길이가 $\sigma$만큼 늘어난 벡터들($U$)
3. 변환된 $U$ 벡터들도 여전히 서로 수직
4. 이 관계를 식으로 쓰면 $AV = U\Sigma$가 되고, 정리하면 $A = U\Sigma V^T$가 됨 ($V$가 orthogonal하지 않다면 우변으로 정리 불가능)

Data 압축에 응용

• SVD수식을 전개하면 아래와 같은 벡터들의 내적의 합으로 나타낼 수 있음. $\sigma$가 정보량을 의미하며 PCA와 같이 정보량의 합을 기준으로 나머지를 버리면 정보를 압축할 수 있음
  $A = \sigma_1 \mathbf{u}_1 \mathbf{v}_1^T + \sigma_2 \mathbf{u}_2 \mathbf{v}_2^T + \sigma_3 \mathbf{u}_3 \mathbf{v}_3^T + \dots$