고윳값과 고유벡터

고윳값과 고유벡터는 선형대수학에서 매우 중요한 개념이다.
머신러닝과 직결되는 개념 중에 하나이기도 하다.

고윳값(eigen value) & 고유벡터(eigen vector)

정사각행렬과 벡터를 곱한 결과가 벡터의 상수배와 같을 때, 벡터를 행렬의 고유벡터라고 하며 상수를 고윳값이라고 한다.

다음과 같은 수식을 성립하는 벡터와 상수 lambda를 고유벡터와 고윳값이라고 한다.

위의 수식에서 벡터는 영벡터가 아니며, 다음과 같이 정리할 수 있다.

벡터 v는 영벡터가 아니므로 다음 식을 성립하는 lambda가 고윳값이다.

lambda를 찾은 후에는 두번째 식에 대입하여 벡터 v를 찾을 수 있다.

고윳값 분해 (eigen decomposition)

고윳값과 고유벡터를 이용하여 행렬을 표현할 수 있는데, 이를 고윳값 분해라고 한다.
nxn 크기의 행렬 A에 대한 고유벡터와 고윳값 n개를 다음과 같이 표현할 수 있다.

다음과 같이 행렬 A를 표현할 수 있다.

행렬 A가 대칭행렬일 때는 다음이 성립하기 때문에, 역행렬을 구하지 않고 표현할 수 있다.

또한 행렬 A가 대칭행렬일때 다른 고윳값을 가진 고유벡터들은 서로 orthogonal(직교)한다는 성질을 갖고 있다. 이는 다음의 식을 통해 증명이 가능하다.

이렇게 고윳값과 고유벡터, 그리고 고윳값 분해에 대해서 알아보았다.