1.6 고유값과 고유벡터

1. 고윳값과 고유벡터의 정의
행렬 A에 대해 Av = $\lambda$v 를 만족하는 v가 0이 아닌 벡터를 고유벡터, 그에 대응하는 스칼라값을 고유값이라고 한다.
기하학적으로는, 고유벡터는 선형 변환의 방향을 변경하지 않고 단지 길이만 $\lambda$배로 늘리거나 줄이는 역할을 한다.

2. 고윳값 계산 방법

즉 행렬 A는 두 개의 방향 $[1, 1]^T$에서 벡터를 3배 늘리고,
$[1, -1]^T$ 에서 벡터를 1배 그대로 유지한다.

3. 딥러닝에서 고유값/고유벡터가 왜 중요한가?
고유값/고유벡터는 행렬 변환이 어떤 방향을 그대로 유지하면서 얼마나 늘리거나 줄이는지 알려주는 도구이다.

• PCA 분석 (데이터 압축/차원 축소)
  예를 들어 100차원의 데이터를 2차원으로 줄이고 싶을 때, PCA는 공분산 행렬의 고유벡터를 구해서 가장 중요한 방향(분산이 큰 방향)을 찾고 그 방향만 남기고 나머지는 버려서 정보를 압축한다.

• 신경망의 가중치 안정성/학습 분석
  딥러닝 모델이 학습을 잘 하고 있는지 분석할 때 가중치 행렬의 고유값을 보면 너무 큰 고유값인 경우 폭주 가능성이 있고 너무 작은 고유값인 경우 학습이 느리거나 정보손실이 발생할 수 있음을 파악할 수 있다.

4. 행렬의 대각화
고유값과 고유벡터를 알면 행렬 A도 구할 수 있다.