이 글은 Linear Algebra and Its Applications 책을 정리한 글입니다.

4.1 Eigenvectors and Eigenvalues

---

• 일반적인 transformation $\bold{x} \mapsto A\bold{x}$는 벡터를 다양한 방향으로 움직일 수 있지만, 종종 A의 움직임이 매우 simple한 특별한 vector가 있다.

• 위 matrix A와 vector $\bold{u}$, $\bold{v}$를 multiplication하여 각각의 image를 살펴보면 다음과같다.

• 위 vector $\bold{v}$처럼 A$\bold{x}$ = 2$\bold{v}$로 나타나는 특별한 vector에 대하여 알아본자.

Definition

• An eigenvector of an $n \ \times \ n$ matrix A is nonzero vector $\bold{x}$ such that A$\bold{x}$ = $\lambda\bold{v}$ for some scalar $\lambda$. A scalar $\lambda$ is called an eigenvalue of A if there is a nontrivial solution $\bold{x}$ of A$\bold{x}$ = $\lambda\bold{v}$; such an $\bold{x}$ is called an eigenvector corresponding to $\lambda$

Example

• 위와같이 주어졌을 때, $\bold{u}$와 $\bold{v}$ 는 A의 eigenvector인가?

Solution

• 위 처럼 multiplication을 해보고 자기자신에 scalar multiplication이 되는지 살펴보면 $\bold{u}$는 corresponding to an eigenvalue -4 인 eigenvector이고 corresponding to an eigenvalue이고, $\bold{v}$는 eigenvector가 아니다

Example

• Show that $\bold{7}$ is an eigenvalue of matrix A in above example, and find the corresponding eigenvectors.

Solution

• scalar 7이 eigenvalue라면 A$\bold{x}$ = $7\bold{x}$이 nontrivial solution을 가져야한다.

• 위 식을 전개하면 (A - 7I)$\bold{x}$ = 0 이고 homogeneous equation을 통해 solution을 구해보면 다음과같다.

• 이때 general solution이 $\bold{x} = x_2 \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 이나오며, $x_2$가 nonzero 일때 general solution인 vector $\bold{x}$ 가 eigenvalue 7에 corresponding하는 eigenvectors가 된다.

Eigenspace

• 위 예제처럼 $\lambda = 7$를 고정하여 보았지만 어떠한 $\lambda$든 올 수 있다. $\lambda$는 eqaution $(A-\lambda I)\bold{x} = 0$ 이 nontrivial solution을 갖을때 $n \times n$ matrix의 eigenvalue이다.

• 이때 zero vector를 포함한 위 equation의 모든 solution set의 subspace를 eigenspace of A corresponding to $\lambda$ 라고 한다. (null space of the matrix $A-\lambda I$ ).

• 위 그림처럼 이전 예제에서 $\lambda = 7$ 의 eigenvector인 $\begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 의 multiplication 이 나타내는 eignespace와 $\lambda = 4$ 일때의 eigenspace를 transformation $\bold{x} \mapsto A\bold{x}$이라고 볼 수 있다.

Example

• 위 matrix A와 $\lambda = 2$ 라고 할때 $\lambda = 2$ 에 해당하는 eigenspace의 basis를 찾아보자.

Solution

• $A - 2I$를 전개하고 augmented matrix로 row reduction하면 다음과 같다.

• 이때 free variable이 포함된 general solution은 다음과 같고,

• 이때의 eigenspace의 basis는 위 두 vector로 이루어지며 이는 two-dim subspace iof $\mathbb{R}^3$이며 아래의 그림과 같이 나타낼 수 있다.

* 위에서 basis가 되는 vector들은 linealy independent set이다.

Theorem1

• The eigenvalues of a triangular matrix are the entries on its main diagonal.

* 이때 꼭 upper triangular일 필요는 없다

• Matirx A의 eigenvalue는 $(A-\lambda I)\bold{x} = 0$ equation에서 nontrivial solution을 가져야 하므로 matrix $(A-\lambda I)$ 의 diagonal entry중 적어도 하나는 zero가 되어 free variable을 가져야 한다.

• 그렇기에 위 eigenvalues는 $a_{11},\ a_{22},\ a_{33}$이 될 수 있으며 두개가 같은 값을 가져도 된다.

Theorem2

• If $\bold{v}_1, \cdots, \bold{v}_r$ are eigenvectors that correspond to distinct eigenvalues $\lambda_1 \cdots \lambda_r$ of an $n \times n$ matrix A, then set {$\bold{v}_1, \cdots, \bold{v}_r$} is linearly independent.

증명은 pass

• $\therefore$ eigenvalue가 다 다르고 각각의 해당 eigenvector들이 주어졌으면 {$\bold{v}_1, \cdots, \bold{v}_r$} 인 eigenvector들은 linearly independet하다.

4.2 The characteristic equation

---

• 아래 matrix A의 eigenvalue를 구해보자.

• matrix의 eigenvalue를 구하기 위해선 eqation $(A - \lambda I)\bold{x} = 0$ 이 nontrivial solution을 가져야한다.

• $\therefore$ matrix A의 eignevalue가 있다고 가정하였을때, nonzero vector $(A - \lambda I)$는 정의상 nontrivial solution을 가져야하고 이는 not invertible이니 determinant가 0이 되어야한다.

The Characteristic Equation

• A scalar $\lambda$ is an eigenvalue of an $n \times n$ matrix A if and only if $\lambda$ satisfies the characteristic equation $det(A - \lambda I) = 0$

• 아래 matrix의 characteristic equation을 찾아보자.

• row reduction 과정은 pass하고 계산해보면 다음과같다.

• 위 식은 $(5 - \lambda^2)(3 - \lambda)(1 - \lambda) = 0$ 이며 전개하면 $\lambda^4 -14\lambda^3 +68\lambda^2 -130\lambda + 75$이며 이는 n-th degree characteristic polynominal 라고 하며 eigenvalue 5가 중복되어 _eigenvalue 5 have multiplicity 2 라고 한다.

Similarity

• If A and B are $n \times n$ matrices, then A is similar to B if there is an invertible matrix $P$ shch that $P^{-1}AP = B$, or eqivalently, $A = PBP^{-1}$.

• 이태 $P^{-1}AP = B$를 similarity transformation이라한다.

Theorem 3

• If $n \times n$ matrices A and B are similar, then they have the same characteristic polynominal and hence the same eigenvalues (with the same multiplication)

• $\therefore$ B is similar to B이기에 B의 characteristic polynominal $det(B - \lambda I)$과 A의 characteristic polynominal $det(A - \lambda I)$이 같으며 eigenvalue가 같다 (but, eigenspace는 다르다).

* 일반적으로 matrix A의 eigenvalue를 구항땐 similar한 성질을 찾아 similarity transformation을 이용하여 eigenvector를 구한다.

4.3 Diagonalization

---

• A square matrix A is said to be diagonalizable if A is similar to a diagonal matrix, thus is if $A = PDP^{-1}$

• diagoanl matirix의 거듭제곱은 위와같이 쉽게 계산된다 이때 matrix A 와 invertible matrix P와 diagonal matrix D가 다음과같이 주어졌을때 similar한 성질을 이용하여 $A^k$를 구해보자.

• p의 inverse는 다음과 같으며,

• A의 거듭제곱을 구하면 다음과같다.

• 결국 A가 diagoanlizable 하다면 $k$라는 변수 하나로 $A^k$를 쉽게 계산할 수 있다.

Theorem 4

• An $n \times n$ matrix A is diagonalizable if and only if A has n linearly independent eigenvectors
• In fact, $A = PDP^{-1}$, with D a diagonal matrix, if and only if the columns of P are n linearly independent eigenvectors of A. In this case, diagonal entries of D are eigenvalues of A that correspond, respectively, to the eigenvectors in P.

• 다른 말로 A가 diagonalizable하다면 $\mathbb{R}^n$ 의 basis가 되는 충분한 eigenvector들이 있다는 것이고, 이를 eigenvector basis of $\mathbb{R}^n$ 이라고 한다.

• $n \times n$ matrix P 의 column들을 $\bold{v_1}, \ \cdots, \ \bold{v_n}$ 이라 하고, diagonal matrix D의 entries를 $\lambda_1, \ \cdots, \ \lambda_n$이라고 하자, 이때 AP와 PD를 정리하면 다음과같고,

• A 가 diagonalizable하다고 가정하였기에 $A = PDP^{-1}$를 만족하고 이를 전개하여 AP = PD를 나타내면 다음과 같다.

• 이 식은 아래와 같고

• 위처럼 결국 A가 diagonalizable하다면 n개의 linealy independent eigenvector를 갖는데 이것은 P의 column vector이며 이것은 D의 entries인 $\lambda_1, \ \cdots, \ \lambda_n$ 각각 에
  해당하는 eigenvectors 이다.

*하지만 eigenvalues는 distinct할 필요는 없다 (n개의 eigenvectors를 말하고 있기에)

How to diagonalizable

• 아래의 matrix를 통해 diagonalizable한지 찾아보자.

1. Find the eigenvalues of A

• $det(A - \lambda I) = 0$ 를 전개하면

• $\lambda = 1 \ and \ \lambda = -2$ 가 eigenvalue임을 알 수 있고,

2. Find linearly independent eigenvectors of A

• $(A - \lambda I)\bold{x} = 0$ 의 general solution인 eigenspace의 basis를 찾고,

• $\bold{x_1}, \ \bold{x_2}, \ \bold{x_3}$ 이 linearly independent set인지 확인한다. 이때 n개보다 작으면 diagonalization을 할수 없다는 것.

3. Construct P and D from the vectors

• 직전 theorem에서 보았던 것 처럼 P는 (diagonalizable하다면) A의 eigenvector들을 column으로 두는 matrix이고, D는 eigenvalues를 entry로 갖는 diagonal matrix이다.

• 이제 diagonaizable한지 찾기위해 AP = PD만 계산하면 된다.

Theorem5

• An $n \times n$ matirx with n distinct eigenvalues is diagonalizable.

• n개의 distict eigenvalue를 가진 matrix는 n개의 independent한 eigenvector를 가진다는 뜻이다.

Theorem6
Let A be an $n \times n$ matrix whose distinct eigenvalues are $\lambda_1, \ \sdot, \ \lambda_p$

• For $1 \le k \le p$, the dimension of the eigenspace for $\lambda_k$ is less than or equal to the multiplicity of the eigenvalue $\lambda_k$
  • dimension $\le$ multiplicity
• The matrix A is diagonalizable if and only if the sum of the dimensions of the eigenspaces equals $n$, and this happens if and only if ($i$) the characteristic polynomial factors completely into linear factors and ($ii$) the dimension of the eigenspace for each $\lambda_k$ equals the multiplicity of $\lambda_k$.

• 아래의 matrix를 diagonalize해보며 위 theorem을 살펴보자.

• 위 matrix A는 triangular matrix이기때문에 eigenvalues 는 5 와 -3 with multiplicity 2이다. 각각의 eigenvalues를 통해 $(A - \lambda I)\bold{x} = 0$ 의 general solution인 eigenspace의 basis를 찾으면 다음과같다.

• 두 eigenvalue에 해당하는 eignespace의 dimension과 eigenvalue의 multiplicity가 같고, 모든 eigenvector의 개수가 4개이며 linearly independent하므로 A는 diagonalizable하다.

• 모든 eigenvector들이 linearly independent하므로 matrix P는 invertible하며 matrix P 와 D는 다음과 같이 나타낼 수 있다.

• 이때 중요한 것은 P는 D의 eigenvalue 가 있는 entry의 위치에 eigenvector가 column으로 들어가야한다.

*같은 eigenvalue에 대한 P에서의 eigenvector 의 column순서는 상관없다.

1