[선형대수] Lecture 14: Orthogonal vectors and subspaces

이재호·2025년 3월 8일

목록 보기

13/31

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/

먼저 다음과 같이 정리를 하고, 이후 증명을 한다.

dim(row \ space) : r

dim(N(A)) : n-r

\text{1. row space and $N(A)$ are orthogonal.}

dim(column \ space) : r

dim(N(A^T)) : m-r

\text{2. column space and $N(A^T)$ are orthogonal.}

이를 위해 먼저 orthogonal vector에 대해서 알아보자.

위와 같이 벡터 x, y 그리고 x+y가 있다고 해보자. 그림과 같이 벡터 x와 벡터 y는 직교(orthgonal)한다.

따라서 두 벡터 $x,y$ 에 대해서, $x^Ty=0$ 이라면 두 벡터는 직교한다고 볼 수 있다.
예시를 들어서 해보자.

x= \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}, y= \begin{bmatrix} 2 \\ -1 \\ 0 \end{bmatrix}, x+y= \begin{bmatrix} 3 \\ 1 \\ 3 \end{bmatrix}

||x||^2=1+4+9=14

||y||^2=4+1+0=5

||x+y||^2=9+1+9=19 = ||x||^2+||y||^2

그렇다면 "orthogonal subspaces"는 무엇일까? 다음과 같이 정의를 내린다.

\text{Subspace $S$ is orthogonal to subspace $T$.}

\rightarrow \text{Every vecotr in $S$ is orthogonal to every vector in $T$.}

그리고 직교하는 두 subspace $S$ , $T$ 는 유일하게 $0$ 에서만 만난다.

다음으로 "row space is orthogonal to null space"에서 대해서 증명해보자.

Ax=0

\begin{bmatrix} row_1 \ of \ A \\ row_2 \ of \ A \\ . \\ . \\ row_m \ of \ A \\ \end{bmatrix} \begin{bmatrix} x_1 \\ . \\ . \\ x_k \\ \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ . \\ . \\ 0 \\ \end{bmatrix}

위에서 null space $N(A)$ 는 벡터 $x$ 들의 모든 조합을 의미한다. 그리고 벡터 $x$ 는 $A$ 의 row와 dot product를 하면 결과가 0이 나오게 된다. ( $\begin{bmatrix} row_1 \ of \ A\end{bmatrix}\begin{bmatrix} x_1 \\ . \\ . \\ x_k \\ \end{bmatrix}=0$ )

따라서 row와 x가 서로 직교함을 알 수가 있고, 이에 따라 row space와 null space는 서로 직교한다고 볼 수 있다.

orthgonal 내용이 끝나고 강의에서 다음과 같은 질문을 던진다.

\text{solve $Ax=b$ when there is no solution.}

즉, $Ax=b$ 의 솔루션이 없을 때 최적의 솔루션을 구하라는 의미이다. 어떻게 구할 수 있을까?

먼저, $A^TA$ 에 대해서 생각해보자 ( $A:m \times n$ ). 이를 통해 추론이 가능한 점은 다음과 같다.

$A^TA$ 는 square matrix다. $A^T_{n \times m}A_{m \times n}\rightarrow?_{n \times n}$
$A^TA$ 는 symmetric matrix다. $(A^TA)^T=A^TA^{TT}=A^TA$

그래서 위 조건을 이용해서, 강의에서는 최적의 솔루션은 다음과 같다고 한다.

A^TA\hat{x}=A^Tb

\text{$\hat{x}$ is best solution.}

그리고 다음과 같은 정리도 가능하다.

N(A^TA)=N(A)

rank(A^TA)=rank(A)

\text{$A^TA$ is invertible exactly if $A$ has independent columns.}

예시와 함께 보자.

A_1= \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 5 \\ \end{bmatrix}, A_2= \begin{bmatrix} 1 & 3 \\ 1 & 3 \\ 1 & 3 \\ \end{bmatrix}

A_1^TA_1= \begin{bmatrix} 1 & 1 & 1\\ 1 & 2 & 5\\ \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 5 \\ \end{bmatrix} = \begin{bmatrix} 3 & 8 \\ 8 & 30 \\ \end{bmatrix}

A_2^TA_2= \begin{bmatrix} 1 & 1 & 1\\ 3 & 3 & 3\\ \end{bmatrix} \begin{bmatrix} 1 & 3 \\ 1 & 3 \\ 1 & 3 \\ \end{bmatrix} = \begin{bmatrix} 3 & 9 \\ 9 & 27 \\ \end{bmatrix}

위 정리와 같이 $A_1$ 과 $A_2$ 은 각각 $A_1^TA_1$ 과 $A_2^TA_2$ 와 같은 null space와 같은 rank를 가지는 것을 확인할 수 있다.
independent columns만 있는 $A_1$ 에 대해서 $A_1^TA_1$ 도 independent columns만 있다.
따라서 invertible이다.
반면에 dependent column이 있는 $A_2$ 에 대해서 $A_2^TA_2$ 도 dependent column만 있다.
따라서 not invertible이다.

천천히, 그리고 꾸준히.

선형대수