고윳값과 고유 벡터 - Eigenvalue and Eigenvector

고유값과 고유 벡터 - Eigenvalue and Eigenvector

Definition - Eigenvalue
n×n 행렬 $A$가 있다. 0이 아닌 열 벡터 $\mathbf v\in \mathbb R^n$에 대해 $A\mathbf v=\lambda \mathbf v$를 만족하는 스칼라 $\lambda \in \mathbb R$를 고윳값(eigenvalue)이라고 한다.
Eigenvalue는 Characteristic value라고도 부른다

Definition - Eigenvector
$A\mathbf v=\lambda\mathbf v$를 만족하는 영이 아닌 열 벡터 $\mathbf v \in R^n$를 고윳값 $\lambda$에 대응하는 $A$의 고유 벡터(eigenvector)라고 한다.
Eigenvector는 Characteristic vector라고도 부른다.

영 벡터는 결코 고유 벡터가 될 수 없다.

예시 1.
$A=\begin{pmatrix}2\;\;0\\0\;\;3\end{pmatrix}$이 있다.

$\begin{pmatrix}2\;\;0\\0\;\;3\end{pmatrix}\begin{pmatrix}1\\0\end{pmatrix}=\begin{pmatrix}2\\0\end{pmatrix}=2\begin{pmatrix}1\\0\end{pmatrix}$ 이므로,

$(1,0)^T$은 고윳값 $2$에 대응하는 $A$의 고유 벡터이다. $(\lambda=2,\ \mathbf v=\begin{pmatrix}1\\0\end{pmatrix})$

$\begin{pmatrix}2\;\;0\\0\;\;3\end{pmatrix}\begin{pmatrix}0\\-2\end{pmatrix}=\begin{pmatrix}0\\-6\end{pmatrix}=3\begin{pmatrix}0\\-2\end{pmatrix}$ 이므로,

$(0,-2)^T$은 고윳값 $3$에 대응하는 $A$의 고유 벡터이다. $(\lambda=3,\ \mathbf v=\begin{pmatrix}0\\-2\end{pmatrix})$

예시 2.
$A=\begin{pmatrix}0\;\;1\\1\;\;0\end{pmatrix}$이 있다.

$\begin{pmatrix}0\;\;1\\1\;\;0\end{pmatrix}\begin{pmatrix}1\\1\end{pmatrix}=\begin{pmatrix}1\\1\end{pmatrix}$,

$\begin{pmatrix}0\;\;1\\1\;\;0\end{pmatrix}\begin{pmatrix}1\\-1\end{pmatrix}=\begin{pmatrix}-1\\1\end{pmatrix}=(-1)\begin{pmatrix}1\\-1\end{pmatrix}$ 이므로,

$(1,1)^T$는 고윳값 $1$에 대응하는 $A$의 고유 벡터이고, $(1,-1)^T$는 고윳값 $-1$에 대응하는 $A$의 고유 벡터이다.

벡터 $\mathbf v_1=(1,1)^T$, $\mathbf v_2=(1,-1)^T$는 $\mathbb R^2$의 기저를 형성한다.
$L(\mathbf x)=A\mathbf x$로 주어지는 선형 연산자 $L:\mathbb R^2 \rarr \mathbb R^2$를 생각하라.

기저 $\mathbf{v_1, v_2}$에 대한 $L$의 행렬 $B$는 다음과 같다.

$B=\begin{pmatrix}1\;\;\;0\\\;\;0\;-1\end{pmatrix}$

왜 그런지 기억이 안난다면 $L(\mathbf v_1), L(\mathbf v_2)$를 생각해보자.

Theorem
n×n 행렬 $A$가 있다. $L(\mathbf x)=A\mathbf x$로 주어지는 선형 연산자 $L:\mathbb R^n \rarr \mathbb R^n$를 생각하라.
$\mathbf v_1, \mathbf v_2, ... , \mathbf v_n$는 $\mathbb R^n$의 표준 기저가 아닌 기저이고 이 기저에 대한 $L$의 행렬을 $B$라고 하자.

벡터 $\mathbf v_1, \mathbf v_2, ... , \mathbf v_n$가 $A$의 고유 벡터라면 행렬 $B$는 대각 행렬이다.
또한 행렬 $B$가 대각 행렬이라면 벡터 $\mathbf v_1, \mathbf v_2, ... , \mathbf v_n$는 $A$의 고유 벡터이다.

이 경우 $B$의 주대각 성분은 $A$의 고윳값과 같다.

고유 공간 - Eigenspace

n×n 행렬 $A$와 고윳값 $\lambda$, 고유 벡터 $\mathbf v$가 있다고 하자.

$A\mathbf v=\lambda \mathbf v$이므로, $A\mathbf v=(\lambda I)\mathbf v\Rarr(A-\lambda I)\mathbf v=\mathbf 0$ 이다.
$\lambda$가 $A$의 고윳값이라면 $(A-\lambda I)\mathbf v=\mathbf 0$은 $0$이 아닌 해(nontrivial value)를 가진다.
그러므로 벡터 $\mathbf v$는 행렬 $(A-\lambda I)$의 영 공간이다.

$\mathbf v \in N(A-\lambda I)$

즉, $\lambda$가 $A$의 고윳값이라면 $N(A-\lambda I)\ne\{\mathbf 0\}$이고, $N(A-\lambda I)$ 안의 영이 아닌 벡터는 $\lambda$에 대응하는 고유 벡터이다.

반대로, 만약 벡터 $\mathbf x$가 $N(A-\lambda I)$ 안의 벡터라면 $A\mathbf x=\lambda \mathbf x$이다.

그러므로 고윳값 $\lambda$에 대응하는 $A$의 고유 벡터들은 $N(A-\lambda I)$의 영이 아닌 벡터들이다.

Definition

$N(A-\lambda I)\ne \{\mathbf 0\}$이면, $N(A-\lambda I)$는 고윳값 $\lambda$에 대응하는 행렬 $A$의 고유 공간(eigenspace)이다.

고윳값과 고유벡터 구하기

정방행렬 $A$와 스칼라 $\lambda$가 주어졌을 때 다음 문장들은 동등한 의미를 가진다.

• $\lambda$는 $A$의 고윳값이다.
• $N(A-\lambda I)\ne\{\mathbf 0\}$
• 행렬 $(A-\lambda I)$는 특이(singular) 행렬이다.
• $\det(A-\lambda I)=0$

Definition
$\det(A-\lambda I)=0$은 행렬 $A$의 특성 방정식(characteristic equation)이다.

$A$의 고윳값 $\lambda$들은 특성 방정식의 근이다.
$A$의 고유벡터들은 방정식 $(A-\lambda I)\mathbf x=\mathbf 0$의 0이 아닌 해다.

고윳값과 관련된 고유벡터를 구하는 절차

• Step 1. 특성 방정식의 근을 구한다.

$p(\lambda)=\det(\lambda I_n-A)$
이는 $A$의 고윳값들이다.

• Step 2. 각 고윳값 $\lambda$마다, 동차 방정식 $(\lambda I_n-A)\mathbf{x=0}$의 0이 아닌 모든 해를 찾는다.
  이는 고윳값 $\lambda$에 대응하는 $A$의 고유벡터이다.

예시 1.
$A=\begin{pmatrix}a_{11}\;\;a_{12}\;\;a_{13}\\a_{21}\;\;a_{22}\;\;a_{23}\\a_{31}\;\;a_{32}\;\;a_{33}\end{pmatrix}$

$\det(A-\lambda I)=\begin{vmatrix}a_{11}-\lambda & a_{12} & a_{13}\\a_{21} & a_{22}-\lambda & a_{23}\\a_{31} & a_{32} & a_{33}-\lambda\end{vmatrix}=-\lambda^3+c_1\lambda^2-c_2\lambda+c_3$,

$c_1=a_{11}+a_{22}+a_{33}$ (trace of $A$) ,

$c_2 = \begin{vmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{vmatrix}+\begin{vmatrix}a_{11}&a_{13}\\a_{31}&a_{32}\end{vmatrix}+\begin{vmatrix}a_{22}&a_{23}\\a_{32}&a_{33}\end{vmatrix}$,

$c_3 =\det A$

예시 2.

$A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$

Characteristic equation :

$\det(A-\lambda I)=\begin{vmatrix}2-\lambda&1\\1&2-\lambda\end{vmatrix}=0$

$(2-\lambda)^2-1=0 \Rarr \lambda_1=1,\ \lambda_2=3$

$(A-\lambda_1 I)\mathbf x=(A-I)\mathbf{x=0}\Lrarr\begin{pmatrix}1&1\\1 &1\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}$
$\Lrarr \begin{pmatrix}1&1\\0 &0\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix} \Lrarr x+y=0$

위 방정식의 일반 해는 $(-t, t)=t(-1,1),\ t\in\mathbb R$이다.
그러므로 벡터 $\mathbf v_1=(-1,1)$은 고윳값 $1$에 대한 고유벡터이다.
이에 대응하는 고유공간은 $\mathbf v_1$에 의해 생성되는 선이다.

$(A-\lambda_2 I)\mathbf x=(A-3I)\mathbf{x=0}\Lrarr\begin{pmatrix}-1&1\\1 &-1\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}$
$\Lrarr \begin{pmatrix}1&-1\\0 &0\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix} \Lrarr x-y=0$

위 방정식의 일반 해는 $(t, t)=t(1,1),\ t\in\mathbb R$이다.
그러므로 벡터 $\mathbf v_2=(1,1)$은 고윳값 $3$에 대한 고유벡터이다.
이에 대응하는 고유공간은 $\mathbf v_2$에 의해 생성되는 선이다.

특성 다항식 - Characteristic polynomial
다항식 $p(\lambda)=\det(A-\lambda I)$를 행렬 $A$의 특성 다항식(characteristic polynomial)이라고 한다.

$\det(A-\lambda I)=(-1)^n\lambda^n+c_1\lambda^{n-1}+\cdots+c_n$

$(-1)^{n-1}c_1=a_{11}+a_{22}+\cdots+a_{nn}= trace(A)$,
$c_n=\det A$

$p(\lambda)=\det(A-\lambda I)=\begin{vmatrix}a_{11}-\lambda&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}-\lambda&\cdots&a_{2n}\\\vdots&\vdots&\vdots&\vdots\\a_{n1}&a_{n2}&\cdots &a_{nn}-\lambda\end{vmatrix}\\=(a_{11}-\lambda)(a_{22}-\lambda)\cdots (a_{nn}-\lambda)\\=(-1)^n\lambda^n+c_1\lambda^{n-1}+\cdots+c_n$

이 식은 다음과 같이 인수분해 될 수 있다.

$p(\lambda)=(-1)^n(\lambda-\lambda_1)(\lambda-\lambda_2)\cdots (\lambda-\lambda_n)\\\quad\;\;\;\;=(\lambda-\lambda_1)(\lambda-\lambda_2)\cdots(\lambda_n-\lambda)$

여기서 우리는 다음과 같은 사실을 볼 수 있다.

$p(0)=\lambda_1\cdot \lambda_2\cdots \lambda_n=\det(A)$

$\sum_{i=1}^n\lambda_i=\sum_{i=1}^na_{ii}=tr(A)$

즉, 고윳값들의 곱은 $A$의 행렬식과 같고 고윳값들의 합은 $A$의 대각합(trace)과 같다.

고윳값의 합과 곱 예시

$A=\begin{pmatrix}5&-18\\1&-1\end{pmatrix}$

$\det(A)=-5+18=13,\ tr(A)=5-1=4$

$p(\lambda)=\begin{vmatrix}5-\lambda&-18\\1&-1-\lambda\end{vmatrix}=\lambda^2-4\lambda+13$

$\lambda_1=2+3i,\ \lambda_2=2-3i$

$\lambda_1 +\lambda_2=4=tr(A)$
$\lambda_1 \cdot \lambda_2=13 = \det(A)$

연산자의 고윳값과 고유벡터

선형 연산자 $L:V\rarr V$가 0이 아닌 벡터 $\mathbf v \in V$에 대해서 $L(\mathbf v)=\lambda\mathbf v$일 때,
$\lambda$는 연산자 $L$의 고윳값이고 $\mathbf v$는 그에 대한 고유벡터이다.

만약 $V$가 함수 공간이라면 고유벡터는 고유 함수(eigenfunction)이라고도 불린다.

$L(\mathbf x)=A\mathbf x$라면($A$는 정방행렬) $L$의 고윳값과 고유벡터는 $A$의 고윳값과 고유벡터이다.

명제
$V$는 벡터 공간이고 $L:V\rarr V$는 선형 연산자라고 하자.

• 벡터 $\mathbf v \in V$가 $L$의 고유벡터라면 이와 관련된 고윳값은 유일하다.
• 벡터 $\mathbf v_1,\ \mathbf v_2$가 서로 다른 고윳값 $\lambda_1,\ \lambda_2$에 대응하는 고유벡터라면 $\mathbf v_1$과 $\mathbf v_2$는 선형 독립이다.

$\Rarr$ Theorem
벡터 $\mathbf v_1, \mathbf v_2, \cdots, \mathbf v_k$가 고윳값 $\lambda_1, \lambda_2,\cdots,\lambda_k$에 대응하는 선형 연산자 $L$의 고유벡터라면 $\mathbf v_1, \mathbf v_2, \cdots, \mathbf v_k$는 선형 독립이다.

행렬의 닮음 - Similarity

정방 행렬 $A$와 $B$가 있다.
$B$가 $A$의 유사행렬이라면 두 행렬은 같은 특성 다항식과 고윳값을 가진다.

---

<참고자료>
Steve J. Leon, Linear Algebra with Application, 10th edition, 2021.