10강_ 벡터의 직교성과 직선투영

Eony_Jahng·2021년 12월 16일

선형대수

목록 보기

10/19

"모두를 위한 열린 강좌 KOCW"에서 제공하는 한양대학교 이상화 교수님의 선형대수 수업을 정리한 내용입니다.

Chapter 3. Orthogonality

3.1 orthogonal vectors & subspace

vector 그리고 vector로 이루어진 space, 그 중 subspace 해당하는 부분이 수직일 수 있다. 그것을 살펴본다.

Why orthogonal vectors?

vector가 수직일 때 여러가지 장점이 있다.

1. independant basis vector로 이루어져 있다.
2. easy calculation in linear combination.

Length

length of vector ||X|| $||X||^2\ =\ X^TX\ = \sum_{i=1}^{n}x_{i}^{2}$

vector 크기(길이)에 대한 제곱은 같은 vector를 transpose해서 곱하면 된다. 이는 vector의 각 element를 (n차원일 때) 제곱해서 더 한 것들이다.

벡터의 길이를 정의하면 직교하는 형태의 벡터들도 특별한 조건을 갖는 것을 정의할 수 있다.

Orthogonal

for vector inner product $X^Ty$

1) $X^Ty=0 \rightarrow\ angle = 90\degree$
2) $X^Ty < 0 \rightarrow\ angle > 90\degree$
3) $X^Ty > 0 \rightarrow\ angle < 90\degree$

If non-zero vectors $V_1,\ V_2,\ ...V_n$ are orthogonal,
$V_{i}^T\cdot V_j =0\ \quad i\ne j\\ ||V_i||\ne 0$
then, the vectors are linearly independent!!

(Review!! linearly indep 하다는 얘기는

C_1V_1 +C_2V_2+...C_nV_n=0\ 일 때,\\ C_1=C_2=...=C_n=0

를 의미한다.)

따라서 각 계수가 모두 0이 되는지를 확인하면 linear indep하다는 것을 증명할 수 있다.

먼저 linearly independent combination 식에 임의의 i번째 orthogonal vector $V_{i}^{T}$ 를 inner product 해준다.

V_{i}^{T}(C_1V_1 +C_2V_2+...C_nV_n)=0\\ \Rightarrow C_i||V_i||^2 = 0\quad for\ \forall i\\ C_i=0

따라서 linearly indep한 vector 집합을 orthogonal한 basis vector로 구할 수 있다.

orthogonal vectors \Rightarrow basis vectors

(Reviw!! basis vectors가 되면 vector space를 span한다고 했는데,

X=\sum_{i=1}^{n}C_iV_i

특정한 벡터공간 X를 표현하는데, basis vector를 가지고 linear combination해서 얻어내는 것이다. 즉, X라는 임의의 벡터가 $V_1부터 V_n까지$ orthogonal한 벡터를 가지고 span해서 만들어진다.

이때 $C_i$ 는 양변에 $V_{i}^{T}$ 를 내적해 구해준다.

V_{i}^{T}X=C_i||V_i||^2

만약 orthogonal vector의 크기(혹은 길이) ( $||V_{i}^2$ )가 1이 되도록 만들어주면 (othonormal, $||V_{i}^2||$ =1),

V_{i}^TX=C_i

가 된다.

Orthogonal의 의미

linearly independent vector,

a_1,\ a_2,\ ...a_n

가 있다. 이 벡터를 가지고 n차원 벡터공간을 span할 수 있다. 그럼 특정한 벡터 X를 구할 때,

X=\sum_{i=1}^{n}C_{i}a_{i}

계수 $C_i$ 를 가지고 linear combination 할텐데 orthogonal하지 않으면 계수 $C_i$ 는 연립방정식을 풀어 구해야 한다.

\begin{bmatrix} \vdots & \vdots & & \vdots \\ a_1 & a_2 & \cdots & a_n\\ \vdots & \vdots & & \vdots \end{bmatrix} \begin{bmatrix} C_1\\C_2\\ \vdots\\C_n \end{bmatrix} =\begin{bmatrix} \\ \\X \\ \\ \\ \end{bmatrix}

matrix a가 linear indep하니까 inverse를 구하던가 GE를 통해서 C를 구할 수 있을 것이다.

이때, 만약 orthogonal 하면 이렇게 귀찮고 번거로운 과정없이 orthogonal vector와 곱해 쉽게 C를 구할 수 있다.

Orthogonal Subspaces

이번에는 벡터가 아닌 벡터공간이 서로 수직인 경우에 대해 다뤄본다.

Every vector in one subspace is orthogonal to every vector in the other subspace

직선 위 모든 벡터는 vector space를 이루는데, 그 직선에 수직인 직선이 있다고 하자. 그 직선 위의 모든 벡터 또한 vector space를 이루고 이 두 vector space(subspace)는 서로 orthogonal하다.

3차원 공간은 어떨까?

평면 상의 원점을 지나는 모든 벡터는 vector space를 이루고, 그 원점을 지나고 평면과 수직으로 관통하는 직선 위의 벡터 또한 vector space를 이룬다. 이 두개의 vector space(subspace)는 서로 orthogonal하다.

Row Space $\bot$ Null space

위의 연립방정식을 만족하는 X가 Null space solution이고, Row space는 행렬A의 행벡터의 linear combination이다. A의 row vector와 X를 곱하면 0이 나오므로 서로 수직이다. 즉,

\sum_{k=1}^{m}C_{k}a_{k}\bot X

Colum space $\bot$ Left Null space

y는 Left Null space에 해당하는 solution이고, Column space는 행렬A의 column vector이다. 그것의 Transpose니까 row vector이다. 이때 위와 같이 row vector와 y는 서로 수직이다. 따라서 Column space와 Left Null space는 서로 수직관계가 된다.

조건

위의 Subspacee들이 서로 수직인데 아무렇게나 수직이 아니다.
행렬A가 m*n 일 때,

Row\ Space\ \bot\ Null\ Space \in R^n\\ Column\ Space\ \bot\ Left\ Null\ Space \in R^m

이다. 즉 vector dimension 모양이 다르다.

이때 Deimension은 vector space를 표현할 수 있는 independent한 vector의 개수가 몇개냐를 나타낸다.

Dim of Vector Space = # of indep vector to span the Vector Space

이것을 행렬로 생각하면 rank of A (r)이다.

즉,

Dim(Column Space(A))\ \ (r) +\ Dim(N(A^T))\ \ (m-r)\ =\ m\\ Dim(Row Space(A^T))\ \ (r) +\ Dim(N(A))\ \ \ (n-r)\ = n

예를들어, 3차원 공간에 vector space가 있다. 만약 Column Space가 직선이면 표현할 수 있는 기본 벡터는 하나면 되니까 1차원이다. 나머지 Column vector에 대응되는 Left Null Space에 해당하는 차원은 2차원이 되어야 하고 평면이다.

반대로, 3차원 공간에서 Row Space가 어떤 평면이면, 그것에 대응되는 Null Space는 원점을 지나는 어떤 하나의 직선이고 평면과 수직일 것이다.

그래서 3차원 공간 상의 직선과 수직인 직선이 있다면, 그것은 fundamental Subspace에서 서로 보안관계를 갖지 못한다. 직선이 있다면 적어도 평면이 있어야한다. 차원이 각각 1차원이기 때문이다.

이러한 관계를 Orthogonal Complement Subspace이라 한다.