[선형대수학] 고유값과 고유벡터

김기정·2024년 4월 19일
고유값과 고유벡터선형대수학
0

선형대수학

목록 보기
6/6

고유값과 고유벡터에 대해 포스팅을 진행하려 합니다.

진행순서는 정의와 성질에 대해 설명과 응용에 대해 간단히 설명하겠습니다.

Def>

위키백과를 통한 정의는 위와 같습니다.

우리가 알기쉽게 보면 K, V, T는 다음과 같이 정의할 수 있습니다.

  • KK = R\R, R\R is real number.

  • VV = Rn\R^n i.e. For v∈V ,  v=[v1v2⋮vn]v \in V\ , \ \ v = \begin{bmatrix}v_1\\ v_2\\ \vdots \\v_n\end{bmatrix} with vi∈Rv_i \in \R

  • TT : VV →\rightarrow VV , T=[a11⋯a1n⋮⋱⋮an1⋯ann]T = \begin{bmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{n1} & \cdots & a_{nn} \end{bmatrix}

    i.e. T⋅v=[a11⋯a1n⋮⋱⋮an1⋯ann][v1⋮vn]=[v1a11+...+vna1n⋮v1an1+...+vnann]=[u1⋮un]=u ⇒u ∈VT \cdot v = \begin{bmatrix}a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{n1} & \cdots & a_{nn} \end{bmatrix} \begin{bmatrix}v_1\\ \vdots \\v_n\end{bmatrix} = \begin{bmatrix} v_1 a_{11}+ ...+v_na_{1n} \\ \vdots \\ v_1a_{n1}+ ... +v_na_{nn} \end{bmatrix} = \begin{bmatrix}u_1\\ \vdots \\u_n\end{bmatrix} = u \ \Rightarrow u\ \in V

이렇게 KK, VV, TT를 이야기 했습니다. 그러면 본격적으로 고유값과 고유벡터에 알아보겠습니다.

For T:V→VT : V \rightarrow V (TT : Linear Transformation),

Let there existv(≠0⃗)∈V & λ∈K  such thatT⋅v=λv.\text{Let there exist} \quad v(\ne \vec{0}) \in V\ \& \ \lambda \in K \ \ \text{such that} \quad T \cdot v = \lambda v.

이때 vv를 TT의 고유벡터(eigen vector)라 하고 λ\lambda를 TT의 vv에 대응하는 고유값(eigen value)라 합니다. 그럼 예제를 들어 확실하게 설명해보겠습니다.

example>

LetT=[4−121], v=[12], λ=2Let \quad T = \begin{bmatrix} 4 &-1 \\ 2 & 1 \end{bmatrix},\ v = \begin{bmatrix} 1 \\ 2 \end{bmatrix},\ \lambda = 2

T⋅v=[4−121][12]=[4⋅1+(−1)⋅22⋅1+1⋅2]=[24]=2⋅[12]=λ⋅vT \cdot v = \begin{bmatrix} 4 &-1 \\ 2 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 4\cdot1+(-1)\cdot2\\ 2\cdot1+1\cdot2 \end{bmatrix} = \begin{bmatrix} 2 \\ 4 \end{bmatrix} = 2 \cdot \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \lambda \cdot v

따라서 T⋅v=λ⋅vT\cdot v = \lambda \cdot v를 만족함으로 vv를 TT의 고유벡터라 할 수 있고 그에 대응하는 고유값은 λ\lambda이다.

중요한 것은 vv를 TT로 선형 변환을 시켰을 때 그 결과가 vv가 λ\lambda만큼의 크기만 변한다는 사실이다.

그럼 과연 고유벡터인 vv와 그에 대응하는 고유값인 λ\lambda는 오로지 한 개만 존재할까요? 그렇지 않습니다. 지금 부터 Theorem과 Definition을 소개하며 그렇지 않다는 것을 증명해보도록 하겠습니다.

Thm>

Let A∈Rn×RnA \in \R^n \times \R^n : matrix & II : identity matrix (n x n).

λ is eigen value of A⇔∣A−λI∣=0\lambda \text{ is eigen value of }A \Leftrightarrow |A-\lambda I| = 0

proof>

  • ⇒{\Rightarrow}
    Suppose that λ\lambda is eigen value of AA.
    ⇒\Rightarrow There exist v∈Rnv \in \R^n with v≠0⃗v \ne \vec{0} such that A⋅v=λ⋅vA\cdot v = \lambda \cdot v
    ⇒A⋅v=I⋅λ⋅v\Rightarrow A \cdot v = I\cdot \lambda \cdot v
    ⇒A⋅v−I⋅λ⋅v=0⃗\Rightarrow A \cdot v - I\cdot \lambda \cdot v = \vec{0}
    ⇒(A−I⋅λ)⋅v=0⃗\Rightarrow (A - I\cdot \lambda) \cdot v = \vec{0}
    ⇒∣A−I⋅λ∣=0\Rightarrow |A - I\cdot \lambda| = 0
  • ⇐\Leftarrow
    Suppose that ∣A−I⋅λ∣=0|A - I\cdot \lambda| = 0
    ⇒\Rightarrow There exist v∈Rnv \in \R^n such that (A−I⋅λ)⋅v=0⃗(A - I\cdot \lambda) \cdot v = \vec{0}
    ⇒A⋅v−I⋅λ⋅v=0⃗\Rightarrow A \cdot v - I\cdot \lambda \cdot v = \vec{0}
    ⇒A⋅v=I⋅λ⋅v\Rightarrow A \cdot v = I\cdot \lambda \cdot v
    ⇒A⋅v=λ⋅v\Rightarrow A \cdot v = \lambda \cdot v

이로써 증명으로 ∣A−I⋅λ∣=0|A - I\cdot \lambda| = 0이라는 수식은 eigen value가 존재한다는 것을 설명합니다.

그렇기 이 수식 ∣A−I⋅λ∣=0|A - I\cdot \lambda| = 0은 다음과 같이 정의됩니다.

Def> characteristic polynomial

Let A∈Rn×RnA \in \R^n \times \R^n : matrix & II : identity matrix (n x n).

P(λ)=∣A−I⋅λ∣=∣a11−λa12a13⋯a1na21a22−λa13⋯a2na31a32a33−λ⋯a3n⋮⋮⋮⋱⋮an1an2an3⋯ann−λ∣P(\lambda) = |A - I\cdot \lambda| = \begin{vmatrix} a_{11}-\lambda & a_{12} & a_{13} & \cdots & a_{1n} \\ a_{21} & a_{22}-\lambda & a_{13} & \cdots & a_{2n} \\ a_{31} & a_{32} & a_{33}-\lambda & \cdots & a_{3n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & a_{n3} & \cdots & a_{nn}-\lambda \\ \end{vmatrix}
  • P(λ)P(\lambda) : characteristic polynomial
  • P(λ)=0P(\lambda) = 0 : characteristic equation or eigen equation

그럼 이제 P(λ)=0P(\lambda) = 0를 통해 우리는 쉽게 고유값을 손으로 찾을 수 있게 되었습니다.

example>

AA가 다음과 같이 주어졌을 때 고유값과 고유벡터를 찾아라.

A=[2301]A = \begin{bmatrix} 2 & 3 \\ 0 & 1 \end{bmatrix}

sol>

P(λ)=0⇒∣A−I⋅λ∣=0⇒∣2−λ301−λ∣=0P(\lambda) = 0 \quad \Rightarrow \quad |A - I\cdot \lambda| = 0 \quad \Rightarrow \quad \begin{vmatrix} 2 - \lambda & 3\\ 0 & 1 - \lambda \end{vmatrix} = 0 \\
⇒(2−λ)(1−λ)=0⇒λ=2  or  λ=1\Rightarrow (2 - \lambda)(1 - \lambda) = 0 \Rightarrow \lambda = 2 \ \text{ or }\ \lambda = 1

  • λ=2\lambda = 2

    P(2)=[030−1]⇒[030−1]⋅[v1v2]=[00]⇒v2=0P(2) = \begin{bmatrix} 0 & 3\\ 0 & -1 \end{bmatrix} \quad \Rightarrow \quad \begin{bmatrix} 0 & 3\\ 0 & -1 \end{bmatrix} \cdot \begin{bmatrix} v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \quad \Rightarrow \quad v_2 = 0
    ∴v={[t0], for t∈R}\therefore v = \{\begin{bmatrix} t \\ 0 \end{bmatrix},\ \text{for} \ t \in \R \}

  • λ=1\lambda = 1

    P(1)=[1300]⇒[1300]⋅[v1v2]=[00]⇒−3×v2=v1P(1) = \begin{bmatrix} 1 & 3\\ 0 & 0 \end{bmatrix} \quad \Rightarrow \quad \begin{bmatrix} 1 & 3\\ 0 & 0 \end{bmatrix} \cdot \begin{bmatrix} v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \quad \Rightarrow \quad -3 \times v_2 = v_1
    ∴v={[−3tt], for t∈R}\\ \therefore v = \{\begin{bmatrix} -3t \\ t \end{bmatrix},\ \text{for} \ t \in \R \}

이 예제를 통해 고유값은 복소수 범위와 중근을 포함하면 N개가 존재한다는 것을 알았고 고유벡터는 벡터하나가 아닌 공간으로써 존재할 수 있음을 알았습니다.

이때 고유 벡터가 공간으로 존재하면 이를 고유 공간(eigen space)이라 합니다.

여기까지 고유벡터와 고유값에 대한 정의와 성질입니다. 간략하게 응용을 설명하면 PCA(주성분 분석)을 할 때 고유벡터를 통해 차원축소를 진행합니다. 이는 다음 포스팅에서 살펴보겠습니다.

긴글 읽어주셔서 감사합니다. 글의 오류가 있을 경우 댓글 남겨주시면 감사하겠습니다.

Reference>

profile
김기정
끊임 없이 도전하는 개발자입니다.
이전 포스트

[선형대수학] 행렬의 기본행 연산

0개의 댓글