고유값(eigenvalue)과 고유벡터(eigenvector)란?

고유값 = eigenvalue
고유벡터 = eigenvector
보통 영어로 표기하지만, 아래 해석에서는 한국어로 표기함.

1. 영문 정의

Definition 1. A nonzero vector x is an eigenvector of a square matrix A if there exists a scalar λ such that Aλ=λx. Then λ is an eigenvalue of A.

Note: The zero vector can not be an eigen vetor even though A0=λ0. But λ=0 can be an eigenvalue.

2. 해석

행렬은 선형변환이다. 즉, 벡터에 행렬 연산을 취해주면 원래 입력벡터와 다른 벡터가 나온다.

하지만, 선형 변환 시, 크기만 바뀌고 방향이 바뀌지 않을 수 있다. 방향이 바뀌지 않는다는 말은 입력벡터와 출력벡터가 평행한다(또는 같은 방향을 갖는다)와 동일하다.

이 수식의 의미는 입력벡터 $\overrightarrow{x}$를 $A$로 선형 변환한 결과인 $A \overrightarrow{x}$가 상수배라는 뜻이다.

2-1. 재정의

임의의 $n \times n$ 행렬 $A$에 대하여, 0이 아닌 솔루션 벡터 $\overrightarrow{x}$가 존재한다면, 스칼라값 $\lambda$는 행렬 $A$의 고유값이라 할 수 있다.

이때, 솔루션 벡터 $\overrightarrow{x}$는 고유값 $\lambda$에 대응하는 고유벡터이다.

2-2. 고유값과 고유벡터를 구하는 과정

여기서, $(A-\lambda I)$이 역행렬을 가지게 되면 $\overrightarrow{x}$가 0이 되므로 모순이다. 그러므로, $(A-\lambda I)$는 역행렬이 존재하지 않아야 되므로, $det(A-\lambda I)=0$이여야 한다. 다른 말로는, $(A-\lambda I)\overrightarrow{x}=\overrightarrow{0}$가 nontrivial solution을 갖는다란 말과 동일하다.

2-3. 왜 고유값과 고유벡터를 물어볼까?

Q. 벡터 $\overrightarrow{x}$에 선형변환 A를 취했을 때, 그 크기만 변하고 원래 벡터와 평행한 벡터 $\overrightarrow{x}$는 무엇인가?
Q. 그러면, 그 크기는 얼마나 변했는가?

2-4. 응용분야

• 특이값 분해 (Singular Value Decomposition)
• 주성분 분석 (PCA)

주로 데이터의 차원을 축소하는 방법에서 고유벡터와 고유값이 사용되는 것 같다.