5.1 Eigenvectors and Eigenvalues

Jaehyun_onelion·2023년 3월 17일
Linear Algebra선형대수학
0

선형대수학

목록 보기
26/42

이번 포스트에서는 eigenvector와 eigenvalue에 대해 알아보겠습니다.


1) Eigenvecotrs and Eigenvalues


Definition : Eigenvecotrs and Eigenvalues

Let AA be an n×nn \times n square matrix.

The eigenvector of AA is a non-zero vector x\boldsymbol{x} such that

Ax=λxA\boldsymbol{x} = \lambda \boldsymbol{x}

for some scalar λ\lambda.

A scalar λ\lambda is called an eigenvalue of AA if there is a nontrivial solution x\boldsymbol{x} of Ax=λxA\boldsymbol{x}=\lambda\boldsymbol{x}

x\boldsymbol x is called an eigenvector corresponding to λ\lambda

Eigenvector와 eigenvalue의 정의에서의 point는 다음과 같습니다. 첫 번째로, eigenvector와 eigenvalue는 square matrix에서 정의됩니다. 두 번째로, 다음 equation

Ax=λxA\boldsymbol{x} = \lambda\boldsymbol x

가 non-trivial solution이 존재할 때, 이 때 λ\lambda를 AA의 eigenvalue라고 합니다. 마지막으로, 위 equation의 solution 중 zero vector를 제외한 x\boldsymbol{x}를 eigenvector corresponding to λ\lambda라고 합니다.

위 정의를 생각해보면, 다음

Ax=λxA\boldsymbol{x} = \lambda\boldsymbol{x}

가 nontrivial solution이 존재해야 eigenvalue와 eigenvector를 정의할 수 있습니다. 우변의 항을 좌변으로 넘겨 x\boldsymbol{x}로 묶으면

(A−λI)x=0(A-\lambda I)\boldsymbol x = 0

위 equation이 non-trivial solution을 가져야 eigenvector와 eigenvalue를 정의할 수 있습니다.

Eigenvector와 eigenvalue를 정의하기 위해서는 위 equation의 solution을 구해야 합니다. 즉, eigenvector corresponding to λ\lambda는

Nul(A−λI)Nul(A-\lambda I)

다음의 null space에서 zero vector를 제외한 vector가 됩니다. 여기서, zero vector를 포함한 다음 Nul(A−λI)Nul(A-\lambda I)를 eigenspace of AA corresponding λ\lambda라고 합니다. 즉 λ\lambda에 대한 eigenspace에서 zero vector를 제외한 나머지 vector들이 λ\lambda에 대한 eigenvector입니다.


example

A=[1652],  u=[6−5],  v=[3−2]A=\begin{bmatrix} 1 & 6 \\ 5 & 2\end{bmatrix}, \ \ \boldsymbol{u} = \begin{bmatrix}6 \\ -5\end{bmatrix}, \ \ \boldsymbol{v} = \begin{bmatrix} 3 \\ -2 \end{bmatrix}

에 대해서

Au=[−2420]=−4[6−5]=−4uAv=[−911]≠kvA\boldsymbol{u} = \begin{bmatrix} -24 \\ 20 \end{bmatrix} = -4\begin{bmatrix} 6 \\ -5 \end{bmatrix}=-4\boldsymbol{u} \\ A\boldsymbol{v} = \begin{bmatrix} -9 \\ 11 \end{bmatrix} \neq k\boldsymbol{v}

Au=−4uA\boldsymbol{u} = -4\boldsymbol{u}를 만족하기 때문에, −4-4는 AA의 eigenvalue이고, 이 때 u\boldsymbol{u}는 eigenvector of AA corresponding to −4-4가 됩니다. 이 때, u\boldsymbol{u}의 scalar multiple 역시 위 식을 만족하기 때문에, eigenvector가 되어, -4에 대한 모든 eigenvector와 zero vector를 모은 집합

Nul(A+4I)={ku∣k∈R}Nul(A+4I) = \{k\boldsymbol{u} \mid k \in \mathbb R\}

을 eigenspace of AA corresponding to −4-4라고 합니다.

한편, Av≠kvA\boldsymbol{v}\neq k\boldsymbol{v}이기 때문에, v\boldsymbol{v}는 eigenvector가 되지 않습니다.


example

A=[3−210],  λ=2A = \begin{bmatrix}3 & -2 \\ 1 & 0\end{bmatrix}, \ \ \lambda=2

AA의 eigenvalue가 λ=2\lambda=2일 때, 22에 해당하는 eigenvector를 찾아봅시다. eigenvector는 다음 조건을 만족해야 합니다.

Ax=2xA\boldsymbol{x} = 2\boldsymbol{x}

이 식을 정리하면

(A−2I)x=0⇒[1−21−2]x=0⇒x=k[21], k∈R(A-2I)\boldsymbol{x} =0 \\ \Rightarrow \begin{bmatrix}1 & -2 \\ 1 & -2 \end{bmatrix}\boldsymbol{x} = 0 \\ \Rightarrow \boldsymbol{x} = k\begin{bmatrix}2 \\ 1\end{bmatrix}, \ k \in \mathbb R

가 됩니다.


example

A=[4−162162−18],  λ=2A=\begin{bmatrix} 4 & -1 & 6 \\ 2 & 1 & 6 \\ 2 & -1 & 8 \end{bmatrix}, \ \ \lambda =2

AA의 eigenvalue 중 하나가 λ=2\lambda=2입니다. 이 때 λ=2\lambda=2에 해당하는 eigenspace는

Ax=2xA\boldsymbol{x} = 2 \boldsymbol{x}

를 만족하는 solution 집합입니다. 이는

(A−2I)x=0(A-2I)\boldsymbol{x} = 0

를 만족하는 solution 집합이고 이는

Nul(A−2I)Nul(A-2I)

와 같습니다. 이를 구하기 위해 위 matrix equation의 augmented matrix를 이용하면

[2−1602−1602−160]∼[1−123000000000]\begin{bmatrix} 2 & -1 & 6 & 0 \\ 2 & -1 & 6 & 0 \\ 2 & -1 & 6 & 0 \end{bmatrix} \sim \begin{bmatrix} 1 & -\frac{1}{2} & 3 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}

이 되어

x=x2[1210]+x3[−301],   x2, x3 : free\boldsymbol{x} = x_2\begin{bmatrix}\frac{1}{2} \\ 1 \\ 0 \end{bmatrix} +x_3 \begin{bmatrix} -3 \\ 0 \\ 1 \end{bmatrix}, \ \ \ x_2, \ x_3 \ : \ free

가 되어

Nul(A−2I)=Span{[1210],[−301]}Nul(A-2I) = Span\{\begin{bmatrix}\frac{1}{2} \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} -3 \\ 0 \\ 1 \end{bmatrix}\}

이 됩니다. 따라서 위 eigenspace의 basis는

{[1210],[−301]}\{\begin{bmatrix}\frac{1}{2} \\ 1 \\ 0 \end{bmatrix} ,\begin{bmatrix} -3 \\ 0 \\ 1 \end{bmatrix}\}

입니다.


2. Properties of eigenvalues and eigenvectors


Eigenvalue와 eigenvector의 성질에 대해 알아보겠습니다.


Theorem

The eigenvalues of a triangular matrix are the entries on its main diagonal

Triangular matrix의 경우 eigenvalue를 바로 구할 수 있습니다. 대각 성분이 eigenvalue가 됩니다.


Theorem

If v1,...,vr\boldsymbol{v_1}, ... , \boldsymbol{v_r} are eigenvectors that correspond to distinct eigenvalues λ1,...,λr\lambda_1, ..., \lambda_r of an n×nn \times n matrix AA, then the set {v1,...,vr}\{\boldsymbol{v_1}, ... , \boldsymbol{v_r}\} are linearliy independent.

서로 다른 eigenvalue로부터 나온 eigenvector들은 linearly independent합니다.


Theorem

AA is not invertible if and only if one of eigenvalues of AA is 0

0인 Eigenvalue를 적어도 하나 가진다면 AA는 invertible하지 않습니다. 즉, invertible matrix의 eigenvalue는 0을 포함해서는 안됩니다.

다음 정리들의 증명은 appendix를 참고하시기 바랍니다.


Solution of xk+1=Axk\boldsymbol{x}_{k+1}=A\boldsymbol{x}_k

Eigenvector와 eigenvalue를 알고 있다면 다음 문제

xk+1=Axk\boldsymbol{x}_{k+1}=A\boldsymbol{x}_k

의 solution을 쉽게 구할 수 있습니다.

x1\boldsymbol{x}_1 을 λ\lambda에 해당하는 eigenvector라고 하면

x2=Ax1=λx1x3=Ax2=λ2x1⋮xk=Axk−1=λk−1x1\begin{aligned} \boldsymbol{x_2}&=A\boldsymbol{x_1} =\lambda \boldsymbol{x}_1 \\ \boldsymbol{x_3} &= A\boldsymbol{x_2} = \lambda^2\boldsymbol{x}_1 \\ \vdots \\ \boldsymbol{x_k} &= A\boldsymbol{x_{k-1}} = \lambda^{k-1}\boldsymbol{x}_1 \end{aligned}

임을 알 수 있습니다.

지금까지 eigenvector와 eigenvalue에 대해 알아보았습니다. 다음 포스트에서는 characteristic equation에 대해 알아보겠습니다. 질문이나 오류 있으면 댓글 남겨주세요! 감사합니다!


Appendix : Proof of theorem


Theorem

The eigenvalues of a triangular matrix are the entries on its main diagonal


  • Proof

n×nn \times n upper triangular matrix AA 를 다음과 같이 정의하면

A=[a1∗⋯∗0a2⋯∗⋮⋮⋱⋮00⋯an]A = \begin{bmatrix}a_1 & * &\cdots & * \\ 0 & a_2 & \cdots & * \\ \vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & a_n \end{bmatrix}

이 후 eigenvalue의 정의에 따라

Ax=λxA\boldsymbol{x} =\lambda\boldsymbol{x}

가 non-trivial solution을 가져야 합니다. 이는

(A−λI)x=0(A-\lambda I)\boldsymbol{x} =0

이 non-trivial solution을 가져야 하는 것과 같습니다. 위 A−λIA-\lambda I는

A−λI=[a1−λ∗⋯∗0a2−λ⋯∗⋮⋮⋱⋮00⋯an−λ]A -\lambda_I= \begin{bmatrix}a_1-\lambda & * &\cdots & * \\ 0 & a_2-\lambda & \cdots & * \\ \vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & a_n-\lambda \end{bmatrix}

와 같이 정의되며, 위 matrix가 invertible하지 말아야 하므로, determinant가 0이 되어야 합니다. 이는

(a1−λ)(a2−λ)⋯(an−λ)=0(a_1-\lambda)(a_2-\lambda)\cdots(a_n-\lambda)=0

을 만족해야 합니다. 즉 AA의 eigenvalue는 AA의 diagonal entries입니다. 이는 lower triangular matrix에서도 똑같이 적용됩니다.


Theorem

If v1,...,vr\boldsymbol{v_1}, ... , \boldsymbol{v_r} are eigenvectors that correspond to distinct eigenvalues λ1,...,λr\lambda_1, ..., \lambda_r of an n×nn \times n matrix AA, then the set {v1,...,vr}\{\boldsymbol{v_1}, ... , \boldsymbol{v_r}\} are linearliy independent.


  • Proof

{v1,...,vr}\{\boldsymbol{v_1}, ... , \boldsymbol{v_r}\}이 linearly dependent하다고 가정해봅시다. 그렇다면

c1v1+⋯+crvr=0c_1\boldsymbol{v_1} + \cdots + c_r\boldsymbol{v_r} =0

가 non trivial solution을 만족합니다. (즉 적어도 하나의 cic_i가 0이 아니면서 위 식을 만족합니다.) 이 때, 어떤 한 벡터는 그 벡터의 index보다 적은 index를 가지는 벡터들의 linear combination으로 표현이 됩니다. 즉

vj=d1v1+⋯+dj−1vj−1\boldsymbol{v_j} = d_1\boldsymbol{v_1} +\cdots + d_{j-1}\boldsymbol{v_{j-1}}

을 만족하는 vj\boldsymbol{v_j}가 적어도 하나 존재합니다. 이를 만족하는 jj 중 가장 작은 index를 pp라고 하면

vp=d1v1+⋯+dp−1vp−1, ⋯(1)\boldsymbol{v_p} = d_1\boldsymbol{v_1} + \cdots + d_{p-1}\boldsymbol{v_{p-1}}, \ \cdots(1)

를 만족하면서, index가 가장 작기 때문에, {v1,⋯ ,vp−1}\{\boldsymbol{v_1}, \cdots , \boldsymbol{v_{p-1}}\}는 linearly independent합니다. (1)의 양변에 AA를 곱하면

Avp=d1Av1+⋯+dp−1Avp−1A\boldsymbol{v_p} = d_1A\boldsymbol{v_1} + \cdots + d_{p-1}A\boldsymbol{v_{p-1}}

인데, vi\boldsymbol{v_i}는 λi\lambda_i에 해당하는 eigenvector이므로

λrvp=d1λ1v1+⋯+dp−1λp−1vp−1 ⋯(2)\lambda_r\boldsymbol{v_p} = d_1\lambda_1\boldsymbol{v_1} + \cdots + d_{p-1}\lambda_{p-1}\boldsymbol{v_{p-1}} \ \cdots (2)

이 됩니다.

한편, (1) 양변에 λp\lambda_p을 곱하면

λpvp=d1λpv1+⋯+dp−1λpvp−1 ⋯(3)p\lambda_p\boldsymbol{v_p} = d_1\lambda_p\boldsymbol{v_1} + \cdots + d_{p-1}\lambda_{p}\boldsymbol{v_{p-1}} \ \cdots (3)p

을 만족합니다. (2)식과 (3)식을 빼면

0=d1(λ1−λp)v1+⋯+dp−1(λp−1−λp)vp−10=d_1(\lambda_1-\lambda_p)\boldsymbol{v_1} + \cdots + d_{p-1}(\lambda_{p-1}-\lambda_p)\boldsymbol{v_{p-1}}

가 성립합니다. 여기서 λj\lambda_j는 모두 다른 값이기 때문에, 앞의 coefficient 중 적어도 하나는 0이 아닙니다. 따라서

c1v1+⋯+cp−1vp−1=0c_1\boldsymbol{v_1} + \cdots + c_{p-1}\boldsymbol{v_{p-1}} =0

의 non-trivial solution이 존재합니다. 즉 {v1,⋯ ,vp−1}\{\boldsymbol{v_1}, \cdots , \boldsymbol{v_{p-1}}\}은 linearly dependent합니다. 여기서 모순이 발생하여 가정인 {v1,...,vr}\{\boldsymbol{v_1}, ... , \boldsymbol{v_r}\}이 linearly dependent가 틀린 가정이 됩니다. 따라서

{v1,...,vr}\{\boldsymbol{v_1}, ... , \boldsymbol{v_r}\}

은 linearly independent합니다.


Theorem

AA is not invertible if and only if one of eigenvalues of AA is 0


  • Proof

만약 AA의 eigenvalue가 0이라면

Ax=0⋅x=0A\boldsymbol{x} = 0\cdot\boldsymbol{x}=0

이 non-trivial solution을 가진다는 것을 뜻합니다. 따라서 AA는 not invertible합니다.

profile
Jaehyun_onelion
데이터 분석가 새싹
이전 포스트

4.8 Change of basis

다음 포스트

5.2 Characteristic Equation

0개의 댓글