Eigen-Decomposition란?

Eigen Value Decomposition으로 고유값 분해라고 합니다.

수식으로 조금 더 쉽게 다가가보면!

A$\vec{v_1}$ = $\lambda_1$$\vec{v_1}$

• A = matrix, $\vec{v_1}$=eigen vector, $\lambda$=eigen value(constant)

A가 어떤 행렬 m x n일 때, $\vec{v_1}$는 n x 1입니다
A$\vec{v_1}$ = m x 1 인데 우변에 있는 $\vec{v_1}$은 n x 1 이니까 결국 m = n이죠.
그래서 A는 square matrix임을 알 수 있습니다.

A$\vec{v_1}$ = $\lambda_1$$\vec{v_1}$, A$\vec{v_2}$ = $\lambda_2$$\vec{v_2}$, A$\vec{v_3}$ = $\lambda_3$$\vec{v_3}$
A$\begin{bmatrix} \vec{v_1} & \vec{v_2} & \vec{v_3} \end{bmatrix}$ = $\begin{bmatrix} \lambda\vec{v_1} & \lambda\vec{v_2} & \lambda\vec{v_3} \end{bmatrix}$=$\begin{bmatrix} \vec{v_1} & \vec{v_2} & \vec{v_3} \end{bmatrix}$$\begin{bmatrix} \lambda_1 & 0 & 0\\ 0 & \lambda_2 & 0\\ 0 & 0 & \lambda_3 \\ \end{bmatrix}$
이렇게 표현하고 좌변에 있는 vectors도 우변으로 넘겨주고!.

=$\begin{bmatrix} \vec{v_1} & \vec{v_2} & \vec{v_3} \end{bmatrix}$ $\begin{bmatrix} \lambda_1 & 0 & 0\\ 0 & \lambda_2 & 0\\ 0 & 0 & \lambda_3 \\ \end{bmatrix}$ $\begin{bmatrix} \vec{v_1} & \vec{v_2} & \vec{v_3} \end{bmatrix}^{-1}$ = $V$$\Lambda$$V^{-1}$ = $A$
근데 여기서 람다만 남겨주고 다 넘기면
$\Lambda$ = $V^{-1}$$A$$V$
diagonalizable이라고 합니다.

또 symmetric matrix면 diagonalizable함
symmetrix matrix는 자기 자신과 transpose한 값과 동일하기 때문에
$A$=$A^T$
$A$=$V$$\Lambda$$V^{-1}$를 transpose하면
$V^{-T}$$\Lambda$$V^{T}$
$V^{-1}$ = $V^{T}$

PCA란?

Principal Component Analysis의 약자로 주성분 분석입니다.

쉽게 데이터 포인트들이 각각 존재할 때 각 데이터들의 분산이 가장 큰 방향이 주성분입니다.

왜 분산이 가장 큰 방향이 주성분인가?
어떤 데이터와 데이터를 잇는 방향과 다른 데이터들을 내적을 했을 때 오차값이 가장 작아야지 잘 설명하는 것인데 그 방향이 분산이 가장 큰 방향입니다.

길이는 1로 기준으로 보자.

위식을 전개하며 u를 최소화하는 것이기 때문에 필요한 것만 보면

$\vec{d_i}$=$\vec{\tilde{d}}_i$-$\vec{\bar{d}}$
$\bar{d}$ = 데이터들의 평균

$-\vec{u}^T$$\frac{1}{N}\sum_i(\vec{\tilde{d}_i}-\vec{\bar{d}})(\vec{\tilde{d}_i}-\vec{\bar{d}})^T$$\vec{u}$
빨간색으로 칠한 부분이 sample covariance matrix입니다.
빨간 부분은 $R_d$라고 하고 식을 보면
$-\vec{u}^TR_d\vec{u}$인데 마이너스가 붙어있으니까 가장 크게 만드는 것이 가장 작아지니까 maximize하는 것입니다

Lagrange multiplier
최적화 문제에서 사용하는 방법인데 최대 최소값을 찾으려는 문제 해결방법입니다
objective function과 constraints을 $\lambda$를 이용하여 편미분 값이 0이 되는 변수의 해를 찾는 것.

$L=\vec{u}^TR_d\vec{u} + \lambda(1-\vec{u}^T\vec{u})$
$\partial L_{\vec{u}} = \partial\vec{u}^TR_d\vec{u} + \vec{u}^TR_d\partial\vec{u}-\lambda\partial\vec{u}^T\vec{u}-\lambda\vec{u}^T\partial\vec{u}$
$=(2\vec{u}^TR_d-2\lambda\vec{u}^T)\partial\vec{u}$

$2\vec{u}^TR_d-2\lambda\vec{u}^T=0$이 되도록하는 u를 찾으면 됩니다
더 해보면

$\vec{u}^TR_d=\lambda\vec{u}^T$
$=(\vec{u}^TR_d)^T=(\lambda\vec{u}^T)^T$
$=R_d\vec{u} = \lambda\vec{u}$
위 람다는 eigen value!!
위 식을 eigen decomposition 하면
$\vec{u}^TR_d\vec{u}$ = $\vec{u}^T(\lambda_1\vec{q}_1\vec{q}_1^T + \lambda_2\vec{q}_2\vec{q}_2^T + \lambda_3\vec{q}_3\vec{q}_3^T+ \dotsi)\vec{u}$
$\vec{u}$가 가장 큰 값이 $\lambda_1$ 다음으로 큰 값이 $\lambda_2$ eigendecomposition에서 projection한 것과 같기 때문에 람다 하나하나의 값들은 전부 orthogonal하기 때문에 다음으로 큰 값은 수직입니다!