[선형대수] Lecture 29: Singular value decomposition

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/

이번 강의에서는 다음과 같은 내용을 다룬다.

• Singular Value Decomposition ( SVD )
• $A=u\Sigma v^T$
  • $u, v$ : orthogonal
  • $\Sigma$ : diagonal

지난 강의에서 $A=Q\Lambda Q^T$ 를 배운 적이 있다.

• 대칭(Symmetric) 행렬 $A$ 는 항상 직교(Orthogonal) 행렬 $Q$ 와 대각 행렬 $\Lambda$ 로 분해될 수 있다.
• 만약 $A$ 가 positive definite matrix 라면, $\Lambda$ 의 모든 대각 성분(고유값)이 양수가 된다.

---

$A=u\Sigma v^T$ 를 확인하기 위해 다음 예시를 보자.

따라서 다음과 같이 표현할 수가 있다.

이제 $A=u\Sigma v^T$ 식이 어떻게 나왔는지 알았다. 이어서 보자.

위에서 $A^TA$ 수식을 봤을 때, eigenvalue $\sigma^2$ 와 eigenvector 를 구할 수가 있다.

• $A^TA=32\begin{bmatrix} 1 \\ 1 \end{bmatrix}$
• $A^TA=18\begin{bmatrix} -1 \\ 1 \end{bmatrix}$

위에서 구한 걸 $A=u\Sigma v^T$ 에 적용해보자.

이제 $AA^T$를 통해 $u$ 를 구해보자.

따라서 최종적으로 $A=u\Sigma v^T$를 증명할 수가 있다.

---

새로운 예시를 들어보자.

보다시피 $A$ 는 singular matrix 이다.
그리고 다음과 같은 해석이 가능하다.

• row space in $\begin{bmatrix}4 \\ 3\end{bmatrix}$
  • $v_1=\begin{bmatrix}4/5 \\ 3/5\end{bmatrix}, v_2=\begin{bmatrix}-3/5 \\ 4/5\end{bmatrix}$
• column space in $\begin{bmatrix}1 \\ 2\end{bmatrix}$
  • $u_1=\begin{bmatrix}1/\sqrt5 \\ 2/\sqrt5\end{bmatrix}, u_2=\begin{bmatrix}-2/\sqrt5 \\ 1/\sqrt5\end{bmatrix}$

이어서 과정을 진행해보자.

$A^TA$는 singular matrix 이므로 $\lambda=0,125$ 가 나올 것이다.
따라서 $\sigma_1=\sqrt{125}$ 임을 알 수 있다.
이제 이어서 진행해보자.

이처럼 singular matrix 에 대해서도 $A=u\Sigma v^T$ 를 적용할 수 있다.

---

즉, SVD 를 최종적으로 정리하면 다음과 같다.