12. 고유벡터와 고유값 그리고 특성방정식

본 게시글은 주재걸 교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다.
https://www.boostcourse.org/ai251/joinLectures/195088

Notation

Scalar : 소문자
Vector : 굵은 소문자 (기본 형태가 column vector)
Matrix : 대문자
Col A (Column space of A) : A의 열벡터들이 만드는 span
Row A (Row space of A) : A의 행벡터들이 만드는 span
Nul A (Null Space) : $A\bold x = 0$을 만족하는 x의 집합

핵심

• 고유벡터와 고유값의 정의
• 고유벡터와 고유값의 이득
  • 선형변환의 특징 반영된 벡터
  • computational cost 감소
• 영공간과 직교여공간의 개념
  • Row A의 직교여공간이 Nul A
  • 고유 벡터는 행렬 $(A-\lambda I)$의 영공간
• 특성방정식
  • 고유값을 구하는 방정식

고유벡터와 고유값

$A\bold x = \lambda \bold x$

고유벡터는 다음을 만족하는 벡터 x를 의미하며 고유값은 이 때의 $\lambda$를 의미한다.

고유벡터는 A에 의해 선형변환 했을 때 유일하게 방향이 변하지 않는 벡터이다.

이는 행렬의 특징을 잘 반영하고 있으며, 연산 상에서 이득을 준다.

영공간과 직교여공간

영공간(Null Space)이란 Nul A로 표기하며 다음 조건을 만족하는 x의 집합이다.

$A\bold x = 0$

x를 A의 컬럼벡터들의 계수로 해석할 수도 있지만 조금 다르게 해석해보자.

벡터 A의 행벡터 관점에서 x는 모든 행벡터와 내적값이 0인, 즉 행 벡터가 만드는 공간 Row A에 수직인 벡터이다.

직교 여공간은 주어진 부분공간과 수직인 벡터들의 공간이다.

즉, Row A의 직교여공간이 Nul A가 된다.

이러한 성질은 Row A의 차원이랑 밀접하게 연결된다.

만약 Row 벡터가 3차원 공간에 존재하며 Row A가 직선이라면 Nul A는 평면이 되고, 반대로 Row A가 평면이라면 Nul A는 직선이 된다.

만약 Row A가 3차원을 모두 표현할 수 있다면 Nul A는 0 벡터가 된다.

특성방정식

고유값을 구하는 것에 대한 해석

위에서 본 고유벡터과 영공간의 개념을 합쳐보자.

$(A-\lambda I)\bold x = 0$

고유벡터는 다음을 만족하는 벡터이고, 이를 영공간 관점에서 해석하면 고유 벡터는 행렬 $(A-\lambda I)$의 영공간이다.

따라서 우리는 Row $(A-\lambda I)$의 직교여공간을 존재하게 하는 람다, 즉 선형종속을 만들어내는 람다를 찾는 것이다,

$A-\lambda I$의 열벡터들이 선형 종속이라는 것은 역행렬이 존재하지 않음을 의미한다.

이를 이용하여 우리는 특성방정식을 만들 수 있다.

고유벡터와 고유값을 구하는 법

이때 $A-\lambda I$가 역행렬이 존재하면 위 식을 만족하는 벡터 x는 0 이외에 존재하지 않으므로 고유벡터가 존재하지 않는다. non trivial 값인 고유벡터 x를 구하기 위해서는 아래 식을 이용해야한다.

$det(A-\lambda I)=0$

이를 특성방정식이라고 한다.

이를 이용하면 $\lambda$에 대한 n차 방정식을 얻을 수 있다. (단, A는 n차 단위행렬)

이때 위 n차 방정식에 대한 해가 고유값이 되며 각각의 고유값을 알게 되면 연립방정식을 통해 벡터 x들을 구할 수 있습니다.

n차 방정식의 해가 k개인 경우 k개의 연립 방정식을 얻을 수 있기 때문에 k개의 고유값과 대응하는 고유벡터를 얻을 수 있다.

람다에 따라서 고유벡터를 얻을 수 있는데 이때 고유벡터가 이루는 공간 즉, $A-\lambda I$의 영공간이 Eigenspace가 되며, 위 공간에 속한 벡터들은 모두 선형변환 A에 대해 상수배로 계산될 수 있다.