1-2. Matrix Decomposition

본 글은 K-MOOC의 인공지능 수학 고급(Advanced Mathematics for AI) 강의를 듣고 요약한 글입니다.

Eigenvalues, Eigenvectors

정사각행렬 $A_{N\times N}$ 의 Eigenvalue는 다음 방정식의 해들이다. ($I$는 항등 행렬이다.)

$\lambda$를 $A$의 eigenvalue일때, 다음을 만족하는 벡터 $x$가 존재한다면

$x$는 $\lambda$에 대한 $A$의 Eigenvector이다.

Eigenvalue, Eigenvector의 특성

이때 다음 명제들은 동치이다.

• $\lambda$ 는 $A$의 eigenvalue이다.
• $\lambda$ 는 특성방정식 $\det(A-\lambda I) = 0$ 의 해이다.
• 선형방정식 $(A-\lambda I)x = 0$ 은 nontrivial한 해가 존재한다.

Eigen Decomposition

$A$가 대각화가능 행렬일 때, $A$는 다음 식처럼 분해할 수 있다.

여기서 $D$는 각 주대각선 위의 성분이 $A$의 eigenvalue인 대각행렬이다.
이때, $P$는 각 $\lambda_1, \cdots \lambda_N$에 대한 eigenvector들의 행렬이다.

QR Decomposition

정사각행렬 $A_{N\times N}$은 다음과 같이 분해가능하다. ($Q$는 직교행렬이며 $R$은 상삼각행렬이다.)

우리는 이를 통해서 $\min||Ax - b||$를 쉽게 구할 수 있다.

QR분해 예시

다음 행렬을 QR분해 해보자.

Gram-Schmidt 과정을 통해 직교기저들을 만들자.

각 벡터들을 정규화하면 $Q$는 다음과 같다.

그리고 $R$도 직교행렬의 성질을 통해 바로 구해줄 수 있다.

따라서 결과는 다음과 갔다.

Singular Value Decomposition

일반적으로는 복소수 공간에서 SVD를 정의하지만, 여기서는 실수 공간에 대해서만 언급합니다.

$A_{M\times N}$이 $M\times N$ 실수 행렬일 때, 다음을 만족하는 직교행렬 $U_{M\times M}$, $V_{N\times N}$,$\Sigma_{M\times N}$ 이 존재한다.

여기서 $\Sigma$의 대각성분은 양수이며 단조감소한다. ($\Sigma_{00}$부터 시작한다.)

다음 강의에서 SVD의 활용에 대해 좀 더 자세히 다루고, 간단한 SVD 예시 하나만 남긴다.

SVD 예시

다음 행렬을 SVD 해보자.

이때 $\Sigma$의 대각성분은 $A^TA$의 eigenvalue들의 양의 제곱근들이다.

이제 주어진 데이터들로 $U$의 처음 몇 열을 알 수 있다.

나머지는 아무 두 직교하는 벡터만 넣으면 되므로 $u_1^Tx=0$을 만족하는 두 벡터를 잡자.

이후 Gram-Schmidt 과정을 통해 서로 직교하도록 만들면 $U$의 나머지 열을 만들 수 있다.

최종적으로 다음 분해가 완성된다.