[선형대수] Lecture 16: Projection matrices and least squares

이재호·2025년 3월 10일

목록 보기

15/31

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/

지난번 강의에서 $Ax=b$ 에서 벡터 $b$ 를 subspace $C(A)$ 에 project하여,

그렇다면 다음과 같이 생각해보자.

그림은 다음과 같다.

그리고 정리하면 다음과 같다.

\text{If $b$ in column space} \rightarrow b=Ax.

\rightarrow Pb=A(A^TA)^{-1}A^TAx=AIx=Ax=b

\therefore Pb=b

\text{If $b$ $\perp$ column space} \rightarrow A^Tb=0

\rightarrow Pb=A(A^TA)^{-1}A^Tb=0

\therefore Pb=0

\therefore b=p+e=Pb+(I-P)b

이를 2차원 평면에서 생각해보자.

위 데이터를 정리하면 다음과 같다.

C+D=1 \\ C+2D=2 \\ C+3D=2

Ax= \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 1 \\ 2 \\ 2 \end{bmatrix}

보다시피 complete solution은 존재하지 않는다.
따라서 위 그림과 같이 error 값이 최소가 되는 $y=C+Dt$ 라인(벡터)을 찾아야 한다.

\text{Best Solution : Minimize $||Ax-b||^2=||e||^2$}

위에 $e$ 는 error를 의미한다. 그리고 위 예시에서는 다음과 같다.

||e||^2 = e_1^2 + e_2^2 + e_3^2

e_1^2=||1-(C+D)||^2 \\ e_2^2=||2-(C+2D)||^2 \\ e_3^2=||2-(C+3D)||^2

그리고 project point는 다음과 같다.

p_1=C+D \\ p_2=C+2D \\ p_3=C+3D

그러면 이제 $Ax=b$ 의 최적의 솔루션 $\hat x$ 을 찾아보자.

Ax=b

\rightarrow A^TA\hat x = A^Tb

A^TA= \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \\ \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix} = \begin{bmatrix} 3 & 6 \\ 6 & 14 \\ \end{bmatrix} \text{ (invertible, symmetric)}

A^Tb = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \\ \end{bmatrix} \begin{bmatrix} 1 \\ 2 \\ 2 \end{bmatrix} = \begin{bmatrix} 5 \\ 11 \\ \end{bmatrix}

즉, 다음과 같이 식을 정리할 수 있다.

3C+6D=5 \\ 6C+14D=11

D=\frac{1}{2}, C=\frac{2}{3}

\therefore \hat x = \begin{bmatrix}1/2 \\ 2/3\end{bmatrix}

(물론, 번외로 $\hat x$ 을 " $||e||^2 = e_1^2 + e_2^2 + e_3^2$ " 식을 활용하여 구할 수도 있다.)

그리고 $e$ 를 계산하면 다음과 같다.

e_1 = 1-(C+D)= 1-(\frac{2}{3}+\frac{1}{2})=-\frac{1}{6}

e_2 = 2-(C+2D)= 2-(\frac{2}{3}+2\times\frac{1}{2})=\frac{2}{6}

e_3 = 2-(C+3D)= 2-(\frac{2}{3}+3\times\frac{1}{2})=-\frac{1}{6}

즉, $e$ 는 다음과 같다.

e=\begin{bmatrix} -1/6 \\ 2/6 \\ -1/6 \end{bmatrix}

이제 그러면 $b=p+e$ 로 보자.

\underbrace{\begin{bmatrix}1 \\ 2 \\ 2\end{bmatrix}}_b = \underbrace{\begin{bmatrix}7/6 \\ 10/6 \\ 13/6\end{bmatrix}}_p + \underbrace{\begin{bmatrix}-1/6 \\ 2/6 \\ -1/6\end{bmatrix}}_e

잘 만족한다.
그리고 다음과 같은 점을 알 수가 있다.

p^Te=0 \rightarrow \text{$p$ and $e$ are perpendicular(orthgornal).}

\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}^T e = 0 \rightarrow \text{$col_1(\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix})$ in $C(A)$ and perpendicular.}

\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}^T e = 0 \rightarrow \text{$col_2(\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix})$ in $C(A)$ and perpendicular.}

결과적으로 모든 위 과정들을 통해 $A^TA\hat x=A^Tb$ 및 $p=A\hat x$ 를 구할 수가 있다.

그리고 다음과 같은 법칙이 존재한다.

\text{If $A$ has independent columns} \\ \text{then $A^TA$ is invertible.}

다음과 같이 증명을 해보자.

\text{Suppose $A^TAx=0$} \rightarrow \text{$x$ must be 0 (when $A^TA$ is invertible).}

x^TA^TAx=0=(Ax)^TAx \rightarrow Ax=0

\text{$A$ has independent columns} \rightarrow \therefore x=0

그리고 다음 강의에 대한 질문을 던진다.

\text{Columns are definitely idependent if they are $\underbrace{\text{perpendicular unit vectors}}_{\text{=orthonormal vectors}}$.}

\text{unit vectors's ex.} : \begin{bmatrix}1 \\ 0 \\ 0\end{bmatrix}, \begin{bmatrix}0 \\ 1 \\ 0\end{bmatrix}, \begin{bmatrix}0 \\ 0 \\ 1\end{bmatrix}

천천히, 그리고 꾸준히.

선형대수