SVD, PCA

특이값 분해(SVD, Singular Value Decomposition)
일반적인 $m \times n$ 행렬에 관한 행렬 분해
$LU$분해, $QR$분해 $\Rightarrow$ $n \times n$ 정방행렬에 대한 행렬분해
특이값 분해는 직교분할, 확대축소, 차원변환 등과 관련이 있다.

$U : m$차원 회전행렬(정규직교행렬)
$D : n$차원 확대축소(확대축소 크기에 따른 정렬 형태
$V : n$차원 회전행렬(정규직교행렬)

주성분분석(PCA, Principal Component Analysis)
데이터의 공분산행렬에 대한 고유값 분해에 기반을 둔 직교분해
$K$개의 $n$차원 데이터 $\{x_i\}\underset{i=1}K$가 있을 때, 데이터의 중심 $m$과 공분산행렬 $C$는 다음과 같다.
$m = {1 \over K}\sum\limits_{i=1}^{K}x_i,\,\,\,\,\,\,\,\,\,C = {1 \over K} \sum\limits_{{i=1}}^{K}(x_i - m)(x_i - m)^T$

$W : n$차원 회전행렬(정규직교행렬)
$D : n$차원 확대축소(확대축소 크기에 따른 정렬 형태)

$\begin{bmatrix} 1 \\1 \end{bmatrix}$에서 내적하여 $\begin{bmatrix} 1 \\1 \end{bmatrix}$ $\begin{bmatrix} 1 & 1 \end{bmatrix} = \begin{bmatrix} 1 & 1\\ 1 & 1\end{bmatrix}$를 구한다.
모든 점에 대한 내적을 더해 평균을 하면 공분산행렬 $C$를 구할 수 있다.