Eigenvalue, Eigenvector

Eigen value

공업 수학을 들으면 미분방정식만큼 중요한 개념이 바로 eigenvalue, eigenvector라고 생각한다. 선형 대수를 이해하고 있어야 이 두 개념이 무엇인지 감을 잡을 수 있는데, 이건 과연 무엇인가...?

$\mathbf{AX} = \lambda\mathbf{X}$
주어진 정방 행렬(square matrix) $\mathbf{A}$에 대해
고유 벡터(eigenvector)는 $\mathbf{X}$
고유값(eigenvalue)은 $\lambda$

기하학적으로 봤을 때, 고유벡터 $\mathbf{X}$는 선형변환 $\mathbf{A}$에 의해 방향이 항상 보존 되는 벡터를 나타내고 고유값 $\lambda$는 그 고유벡터의 변화되는 스케일 정도를 나타내는 값이다.

두 개념에 대한 수학적인 유도와 자세한 설명은 이 블로그에 너무나도 자세히 나와있다.
수학적인 유도도 매우 중요하지만 그만큼 중요한 것이 각 상황에서의 의미를 파악하는 일인데, PCA를 예제로 설명을 이어나가본다.