Orthogonality

Definition of Orthogonal Vectors

Two vectors $\bold{v}$ and $\bold{w}$ are said to be orthogonal if their inner product is zero. ($\bold v^T \bold w = 0$)

→ 두 벡터의 내적이 0일 때, 두 벡터는 직교한다.

• orthogonal의 의미 : $\cosθ$가 0이다. 두 벡터가 이루는 각 $\theta$ 에 대해 $\cos \theta$를 계산하는 수식은 다음과 같은데, 이때 두 벡터의 내적이 $0$이기 때문에 $\cos \theta = 0$ 이 된다. $\cos \theta = 0$이 되게하는 $\theta$는 $\pi \over 2$ [직교]
  $\cos \theta = \frac{\bold v \cdot \bold w}{||\bold v|| \ ||\bold w||} = 0$
• Example of Orthogonal Vectors

Orthogonal 관계인 Vector and Subspace

어떤 subspace $S$에 들어있는 모든 벡터와 벡터 $\bold v$가 수직일 때, Subspace $S$와 벡터 $\bold v$가 orthogonal하다.

Definition of Orthogonal Subspaces

Orthogonal 관계인 Vector and Subspace의 표현을 확장시켜서 정의할 수 있다.

Two subspaces $S_1$ and $S_2$ are said to be orthogonal, if $\bold v$ and $\bold w$ are orthogonal for all $\bold v \in S_1$, $\bold w \in S_2$

→ $S_1$에 포함된 모든 벡터와 $S_2$에 포함된 모든 벡터가 수직(orthogonal)일 때 $S_1$과 $S_2$는 직교한다.

• Example of Orthogonal Vectors

Dimension과 orthogonal의 관계

• Dimension과 orthogonal의 관계

  Subspace $S_1$ and $S_2$ of $\mathbb R^n$ cannot be orthogonal when $\dim(S_1) + \dim(S_2) > n$

  → $\mathbb R^n$의 subspace $S_1$과 $S_2$에서 $\dim(S_1) + \dim(S_2) > n$ 을 만족하면, $S_1$과 $S_2$는 직교관계를 가질 수 없다.
  

• Dimension의 의미
  3차원 공간 ($\mathbb R^3$)의 subspace인 평면($\dim = 2$) $S_1$과 $S_2$를 가정하자.
  Orthogonal의 정의에 의해, 두 subspace가 orthogonal하기 위해서는 해당 subspace안에 속하는 어떤 벡터에 대해서도 직교해야하는데, 이를 만족하지 못한다.
  → 따라서 두 subspace는 orthogonal하지 않는다.
  이때 위에서 정의한 관계식에 각 값을 대입하면 다음과 같이 두 subspace의 dimension의 합이 기존 space의 차원보다 크다.
  $\dim(S_1) + \dim(S_2) = 4 > 3$

Otrhogonality of Four Fundamental Supspace

Orthogonality of $C(A^T)$ and $N(A)$

• $A$의 row space와 nullspace는 서로 직교관계이다.

• 증명
  * $A$가 $m\times n$ 행렬일 때, 두 부분공간은 $\mathbb R^n$의 subspace이다.

  1. $C(A^T)$에 포함되는 벡터 $\bold v$와 $N(A)$에 포함되는 벡터 $\bold w$가 있다

     $\bold v \in C(A^T),\ \bold w \in N(A)$

  2. $\bold v=A^T \bold y를$ 만족하는 벡터 $\bold y$를 가정하자.

  3. 벡터 $\bold v$의 위치에 위에서 정의한 표현을 대입하면 다음과 같이 나타난다.

     • $\bold v \in C(A^T)$이므로, $A^T \bold y$ 로 표현할 수 있다.
     • $\bold w \in N(A)$이므로, $A\bold w = 0$ 이다.
       $\bold v^T \bold w = (A^T \bold y)^T \bold w = \bold y^TA \bold w =\bold y^T \cdot \bold 0 = 0$
       → 따라서 $\bold v^T \bold w = 0$ 이므로, 두 subspace에 속하는 모든 임의의 벡터들끼리 서로 직교관계임을 보일 수 있다.

• NullSpace의 의미

  • $N(A)$는 원래 행렬 $A$의 row에 직교하는 모든 벡터들을 모아둔 subspace이다.
  • $A\bold x = 0$에서 각각의 row vector $\bold a^T$에 곱해지는 $\bold x$의 결과가 $0$이므로 다음과 같이 해석할 수 있다.
    $\bold a^T \bold x = 0$
  • 의미자체가 이렇다보니 $A$의 row들의 linear combination한 space인 $C(A^T)$와도 orthogonal하게 된다.

Orthogonality of $C(A)$ and $N(A^T)$

• $A$의 column space와 left nullspace는 서로 직교관계이다.
• row space와 nullspace간의 orthogonality 증명 과정을 $A^T$기준으로 진행하면 쉽게 증명할 수 있다.

Orthogonal Complement : 직교여집합

Definition of Orthogonal Complement

The orthogonal complement of a subspace $S$, contains every vector that is perpendicular to $S$.

→ 직교 여집합은 어떤 Subspace $S$와 직교하는 모든 벡터들의 집합이다.

• 직교 여집합의 표현
  $S^⊥$

Orthogonal Complement of Four Fundamental Supspace

Four Fundamental Supspace은 단순 직교관계가 아닌 직교 여집합 관계를 만족한다.

Orthogonal Complement of Nullspace and Row space

$m\times n$ 행렬 $A$에 대하여

$C(A^T)$ and $N(A)$ are orthogonal complements of each other in $\mathbb R ^n$

• $N(A)$의 정의에 의하여 성립한다.

  • $N(A)$는 모든 row 벡터와 직교한 벡터들의 집합이다.
  • 따라서 row 벡터에 대한 직교 여집한관계가 성립한다.

• 두 부분공간은 서로 직교하며, 현재 차원에서 자신의 차원을 뺀만큼의 차원을 상대방이 가지기 때문에 직교 여집합 관계를 만족할 수 밖에 없다.

  • $n- \dim(C(A^T)) = \dim(N(A))$

  • $n- \dim(N(A)) = \dim(C(A^T))$

    
    
    $\dim(C(A^T))+\dim(N(A)) = n$

Orthogonal Complement of Column space and Left Nullspace

$m\times n$ 행렬 $A$에 대하여

$C(A)$ and $N(A^T)$ are orthogonal complements of each other in $\mathbb R ^m$

• 증명 [귀류법]

  1. $N(A)$에 직교하지만, $C(A^T)$에 포함되지 않는 어떤 벡터 $\bold v$를 가정하자.

     $\bold v ⊥ N(A),\ \ \bold v \notin C(A^T)$

  2. 이 벡터 $\bold v$를 $A$의 행에 추가하여 행렬 $B$를 얻을 수 있다.

     $B = \begin{bmatrix} A \\ \bold v^T\end{bmatrix}$

  3. 이때 새로 정의된 행렬 $B$의 nullspace는 기존 행렬 $A$의 nullspace와 동일하다.

     → nullspace는 변하지 않는다.

     1. $A\bold x = 0$ 일 때 $\bold x \in N(A)$이다 .

     2. 이때 행렬 $B$에 대해서 $B \bold x = 0$이 성립한다면, $\bold x \in N(A) \sub N(B)$를 만족한다.

        • $A\bold x = 0$ (자명)
        • $\bold v ⊥ N(A)$이므로 $\bold v^T\bold x = 0$
        $B\bold x = \begin{bmatrix} A\bold x \\ \bold v ^T \bold x \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} = 0$

        → 따라서 $N(A) \sub N(B)$ - (1)

     3. 행렬 $B$를 정의할 때, 기존 행렬 $A$에 새로운 행을 추가시켜서(차원증가) 조건이 추가되었기에 $N(B) \sub N(A)$ - (2)

     4. 1번과 2번 조건을 모두 만족하는 것은 두 subspace가 동일한 경우이다.

        $N(A) = N(B)$

  4. $B$행렬은 $A$에 비해서 새로운 행이 하나 더 추기되었기 때문에 랭크의 갯수가 1개 더 많다.

     $r(B) = r(A) +1$

  5. 랭크와 차원의 관계를 이용하여 다음과 같은 계산과정을 거칠 수 있다.

     • $N(A) = N(B)$이기 때문에 다음을 만족
       $\dim(N(B)) + \dim(C(B^T)) = n$
       $\dim(N(A)) + \dim(C(B^T)) = n$
     • 차원을 Rank로 표현
       $n-r(A) + r(B) = n$
       $n - r(A) + r(A) + 1 = n$
       $n - \cancel{(r(A))} + \cancel{(r(A))} + 1 = n$
       → $n+1 = n$ [모순]
       

  6. 따라서 처음 가정이 틀렸음을 보일 수 있다.

Orthogonality and Independence

$n$ Independent Vectors in $\mathbb R^n$

Any $n$ independent vectors in
$\mathbb R^n$ must span $\mathbb R^n$. So they are a basis.

→ $\mathbb R^n$ 안에서 $n$개의 독립적인 벡터(=basis)는 $\mathbb R^n$ 을 span한다.

Any $n$ vectors in
$\mathbb R^n$ that span $\mathbb R^n$ must be independent. So they are a basis.

→ ↔ $\mathbb R^n$ 을 span하는 $n$개의 벡터(=basis)는 서로 독립이다.

$n$ Independent Vectors in $\mathbb R^n$ (Matrix)

• If the $n$ columns of $A$ are independent, they span $\mathbb R^n$. So $A\bold x = b$ is always solvable.

  • 만약 $A$의 $n$개의 열이 독립이라면, $\mathbb R^n$을 span한다.
  • 따라서 $A\bold x=b$의 해는 항상 존재한다. → $A$의 열의 linear combination으로 공간 안의 어떤 벡터도 표현가능하다.

• If the $n$ columns of $A$ span $\mathbb R^n$, they are independent. So $A\bold x = b$ has a unique solution.

  • 만약 $A$의 $n$개의 열이 $\mathbb R^n$을 span하면 서로 독립이다.
  • 따라서 $A\bold x=b$의 해는 항상 존재한다.

Orthogonality and Independence

• Orthogonal한 subspaces들의 basis

  벡터 $\bold v_1, \bold v_2, \cdots, \bold v_r$이 subspace $S∈\mathbb R^n$의 basis이고 $\bold v_{r+1}, \bold v_{r+2} , \cdots , \bold v_n$이 subspace $T∈\mathbb R^n$의 basis일 때,

  → $S$와 $T$가 직교관계이면 벡터 $\bold v_1, \bold v_2, ..., \bold v_n$은 $\mathbb R^n$의 basis이다.

• Q) 벡터들이 직교관계이면 해당 벡터들은 독립인가?
  • 벡터 중에 영벡터가 들어있다면 직교관계는 만족한다.
  • 하지만 영벡터가 존재하면 독립관계는 성립하지 않는다. → 따라서 항상 직교라고 독립조건을 만족하는 것은 아니다.
    

Combining Bases from $C(A^T)$ and $N(A)$

Combining bases from $C(A^T)$ and $N(A)$ to form a basis of $\mathbb R^n$

• 위 정리에 의해 $C(A^T)$ 와 $N(A)$ subspace를 모은 것이 $\mathbb R^n$의 basis임을 알 수 있다.

  • $\dim(C(A^T)) + \dim(N(A)) = n$
    • $\dim(C(A^T)) = r$
    • $\dim(N(A)) = n-r$
  • $C(A^T)⊥N(A)$ → 위 정리의 두가지 조건을 모두 만족하기 때문

• $\mathbb R^n$에 속하는 어떤 벡터 $\bold x$를 서로 직교관계인 두 벡터로 나눌 수 있다.

  $\bold x = \bold x_r + \bold x_n$

  • $C(A^T) = \{ \bold v_1, \bold v_2, \cdots , \bold v_r\}$ → $\bold x_r$

  • $N(A) = \{\bold v_{r+1}, \bold v_{r+2}, \cdots, \bold v_n\}$ → $\bold x_n$

    ⇒ 특히 row space에 속하는 벡터와 nullspace에 속하는 벡터로 표현할 수 있다.