[선형대수학] Orthogonality

Vaughan·2022년 8월 28일
0

선형대수학

목록 보기
13/14
post-thumbnail

Orthogonality

Definition of Orthogonal Vectors

Two vectors v\bold{v} and w\bold{w} are said to be orthogonal if their inner product is zero. (vTw=0\bold v^T \bold w = 0)

→ 두 벡터의 내적이 0일 때, 두 벡터는 직교한다.

  • orthogonal의 의미 : cosθ\cosθ가 0이다. 두 벡터가 이루는 각 θ\theta 에 대해 cosθ\cos \theta를 계산하는 수식은 다음과 같은데, 이때 두 벡터의 내적이 00이기 때문에 cosθ=0\cos \theta = 0 이 된다. cosθ=0\cos \theta = 0이 되게하는 θ\thetaπ2\pi \over 2 [직교]
    cosθ=vwv w=0\cos \theta = \frac{\bold v \cdot \bold w}{||\bold v|| \ ||\bold w||} = 0
  • Example of Orthogonal Vectors
[12] and [21]\begin{bmatrix} 1 \\ 2 \end{bmatrix} \text{ and }\begin{bmatrix} -2 \\ 1 \end{bmatrix}

Orthogonal 관계인 Vector and Subspace

어떤 subspace SS에 들어있는 모든 벡터와 벡터 v\bold v가 수직일 때, Subspace SS와 벡터 v\bold v가 orthogonal하다.

vSif  vTw=0 (wS)\bold v⊥S \\ \text{if }\ \bold v^T \bold w = 0\ (∀ \bold w∈S)

Definition of Orthogonal Subspaces

Orthogonal 관계인 Vector and Subspace의 표현을 확장시켜서 정의할 수 있다.

Two subspaces S1S_1 and S2S_2 are said to be orthogonal, if v\bold v and w\bold w are orthogonal for all vS1\bold v \in S_1, wS2\bold w \in S_2

S1S_1에 포함된 모든 벡터와 S2S_2에 포함된 모든 벡터가 수직(orthogonal)일 때 S1S_1S2S_2직교한다.

S1S2if vTw=0 (vS1,wS2)S_1 ⊥ S_2\\ \text{if} \ \bold v^T \bold w =0\ (\forall \bold v \in S_1, \forall \bold w \in S_2)
  • Example of Orthogonal Vectors
S1={c[12], cR} and S2={c[21], cR}S_1 = \left\{ c \begin{bmatrix} 1 \\ 2 \end{bmatrix}, \ \forall c \in \mathbb R \right\} \text{ and }S_2 = \left\{ c \begin{bmatrix} -2 \\ 1\end{bmatrix}, \ \forall c \in \mathbb R \right\}

Dimension과 orthogonal의 관계

  • Dimension과 orthogonal의 관계

    Subspace S1S_1 and S2S_2 of Rn\mathbb R^n cannot be orthogonal when dim(S1)+dim(S2)>n\dim(S_1) + \dim(S_2) > n

    Rn\mathbb R^n의 subspace S1S_1S2S_2에서 dim(S1)+dim(S2)>n\dim(S_1) + \dim(S_2) > n 을 만족하면, S1S_1S2S_2는 직교관계를 가질 수 없다.
  • Dimension의 의미
    3차원 공간 (R3\mathbb R^3)의 subspace인 평면(dim=2\dim = 2) S1S_1S2S_2를 가정하자.
    Orthogonal의 정의에 의해, 두 subspace가 orthogonal하기 위해서는 해당 subspace안에 속하는 어떤 벡터에 대해서도 직교해야하는데, 이를 만족하지 못한다.
    → 따라서 두 subspace는 orthogonal하지 않는다.
    이때 위에서 정의한 관계식에 각 값을 대입하면 다음과 같이 두 subspace의 dimension의 합이 기존 space의 차원보다 크다.
    dim(S1)+dim(S2)=4>3\dim(S_1) + \dim(S_2) = 4 > 3

Otrhogonality of Four Fundamental Supspace

Orthogonality of C(AT)C(A^T) and N(A)N(A)

C(AT) ⊥ N(A)C(A^T)\ ⊥\ N(A)
  • AA의 row space와 nullspace는 서로 직교관계이다.

  • 증명
    * AAm×nm\times n 행렬일 때, 두 부분공간은 Rn\mathbb R^n의 subspace이다.

    1. C(AT)C(A^T)에 포함되는 벡터 v\bold vN(A)N(A)에 포함되는 벡터 w\bold w가 있다

      vC(AT), wN(A)\bold v \in C(A^T),\ \bold w \in N(A)
    2. v=ATy\bold v=A^T \bold y를 만족하는 벡터 y\bold y를 가정하자.

    3. 벡터 v\bold v의 위치에 위에서 정의한 표현을 대입하면 다음과 같이 나타난다.

      • vC(AT)\bold v \in C(A^T)이므로, ATyA^T \bold y 로 표현할 수 있다.
      • wN(A)\bold w \in N(A)이므로, Aw=0A\bold w = 0 이다.
        vTw=(ATy)Tw=yTAw=yT0=0\bold v^T \bold w = (A^T \bold y)^T \bold w = \bold y^TA \bold w =\bold y^T \cdot \bold 0 = 0
        → 따라서 vTw=0\bold v^T \bold w = 0 이므로, 두 subspace에 속하는 모든 임의의 벡터들끼리 서로 직교관계임을 보일 수 있다.
  • NullSpace의 의미

    • N(A)N(A)는 원래 행렬 AA의 row에 직교하는 모든 벡터들을 모아둔 subspace이다.
    • Ax=0A\bold x = 0에서 각각의 row vector aT\bold a^T에 곱해지는 x\bold x의 결과가 00이므로 다음과 같이 해석할 수 있다.
      aTx=0\bold a^T \bold x = 0
    • 의미자체가 이렇다보니 AA의 row들의 linear combination한 space인 C(AT)C(A^T)와도 orthogonal하게 된다.

Orthogonality of C(A)C(A) and N(AT)N(A^T)

C(AT) ⊥ N(A)C(A^T)\ ⊥\ N(A)
  • AA의 column space와 left nullspace는 서로 직교관계이다.
  • row space와 nullspace간의 orthogonality 증명 과정을 ATA^T기준으로 진행하면 쉽게 증명할 수 있다.

Orthogonal Complement : 직교여집합

Definition of Orthogonal Complement

The orthogonal complement of a subspace SS, contains every vector that is perpendicular to SS.

→ 직교 여집합은 어떤 Subspace SS직교하는 모든 벡터들의 집합이다.

  • 직교 여집합의 표현
    SS^⊥

Orthogonal Complement of Four Fundamental Supspace

Four Fundamental Supspace은 단순 직교관계가 아닌 직교 여집합 관계를 만족한다.

Orthogonal Complement of Nullspace and Row space

m×nm\times n 행렬 AA에 대하여

C(AT)C(A^T) and N(A)N(A) are orthogonal complements of each other in Rn\mathbb R ^n

N(A)=C(AT)N(A) = C(A^T)^⊥
  • N(A)N(A)의 정의에 의하여 성립한다.

    • N(A)N(A)는 모든 row 벡터와 직교한 벡터들의 집합이다.
    • 따라서 row 벡터에 대한 직교 여집한관계가 성립한다.
  • 두 부분공간은 서로 직교하며, 현재 차원에서 자신의 차원을 뺀만큼의 차원을 상대방이 가지기 때문에 직교 여집합 관계를 만족할 수 밖에 없다.

    • ndim(C(AT))=dim(N(A))n- \dim(C(A^T)) = \dim(N(A))

    • ndim(N(A))=dim(C(AT))n- \dim(N(A)) = \dim(C(A^T))


      dim(C(AT))+dim(N(A))=n\dim(C(A^T))+\dim(N(A)) = n

Orthogonal Complement of Column space and Left Nullspace

m×nm\times n 행렬 AA에 대하여

C(A)C(A) and N(AT)N(A^T) are orthogonal complements of each other in Rm\mathbb R ^m

C(AT)=N(A)C(A^T) = N(A)^⊥
  • 증명 [귀류법]
    1. N(A)N(A)에 직교하지만, C(AT)C(A^T)에 포함되지 않는 어떤 벡터 v\bold v를 가정하자.

      vN(A),  vC(AT)\bold v ⊥ N(A),\ \ \bold v \notin C(A^T)
    2. 이 벡터 v\bold vAA의 행에 추가하여 행렬 BB를 얻을 수 있다.

      B=[AvT]B = \begin{bmatrix} A \\ \bold v^T\end{bmatrix}
    3. 이때 새로 정의된 행렬 BB의 nullspace는 기존 행렬 AA의 nullspace와 동일하다.

      → nullspace는 변하지 않는다.

      1. Ax=0A\bold x = 0 일 때 xN(A)\bold x \in N(A)이다 .

      2. 이때 행렬 BB에 대해서 Bx=0B \bold x = 0이 성립한다면, xN(A)N(B)\bold x \in N(A) \sub N(B)를 만족한다.

        • Ax=0A\bold x = 0 (자명)
        • vN(A)\bold v ⊥ N(A)이므로 vTx=0\bold v^T\bold x = 0
        Bx=[AxvTx]=[00]=0B\bold x = \begin{bmatrix} A\bold x \\ \bold v ^T \bold x \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} = 0

        → 따라서 N(A)N(B)N(A) \sub N(B) - (1)

      3. 행렬 BB를 정의할 때, 기존 행렬 AA에 새로운 행을 추가시켜서(차원증가) 조건이 추가되었기에 N(B)N(A)N(B) \sub N(A) - (2)

      4. 1번과 2번 조건을 모두 만족하는 것은 두 subspace가 동일한 경우이다.

        N(A)=N(B)N(A) = N(B)
    4. BB행렬은 AA에 비해서 새로운 행이 하나 더 추기되었기 때문에 랭크의 갯수가 1개 더 많다.

      r(B)=r(A)+1r(B) = r(A) +1
    5. 랭크와 차원의 관계를 이용하여 다음과 같은 계산과정을 거칠 수 있다.

      • N(A)=N(B)N(A) = N(B)이기 때문에 다음을 만족
        dim(N(B))+dim(C(BT))=n\dim(N(B)) + \dim(C(B^T)) = n
        dim(N(A))+dim(C(BT))=n\dim(N(A)) + \dim(C(B^T)) = n
      • 차원을 Rank로 표현
        nr(A)+r(B)=nn-r(A) + r(B) = n
        nr(A)+r(A)+1=nn - r(A) + r(A) + 1 = n
        n(r(A))+(r(A))+1=nn - \cancel{(r(A))} + \cancel{(r(A))} + 1 = n
        n+1=nn+1 = n [모순]
    6. 따라서 처음 가정이 틀렸음을 보일 수 있다.


Orthogonality and Independence

nn Independent Vectors in Rn\mathbb R^n

Any nn independent vectors in
Rn\mathbb R^n must span Rn\mathbb R^n. So they are a basis.

Rn\mathbb R^n 안에서 nn개의 독립적인 벡터(=basis)는 Rn\mathbb R^nspan한다.

Any nn vectors in
Rn\mathbb R^n that span Rn\mathbb R^n must be independent. So they are a basis.

→ ↔ Rn\mathbb R^nspan하는 nn개의 벡터(=basis)는 서로 독립이다.


nn Independent Vectors in Rn\mathbb R^n (Matrix)

  • If the nn columns of AA are independent, they span Rn\mathbb R^n. So Ax=bA\bold x = b is always solvable.

    • 만약 AAnn개의 열이 독립이라면, Rn\mathbb R^n을 span한다.
    • 따라서 Ax=bA\bold x=b의 해는 항상 존재한다. → AA의 열의 linear combination으로 공간 안의 어떤 벡터도 표현가능하다.
  • If the nn columns of AA span Rn\mathbb R^n, they are independent. So Ax=bA\bold x = b has a unique solution.

    • 만약 AAnn개의 열이 Rn\mathbb R^n을 span하면 서로 독립이다.
    • 따라서 Ax=bA\bold x=b의 해는 항상 존재한다.

Orthogonality and Independence

  • Orthogonal한 subspaces들의 basis

    벡터 v1,v2,,vr\bold v_1, \bold v_2, \cdots, \bold v_r이 subspace SRnS∈\mathbb R^n의 basis이고 vr+1,vr+2,,vn\bold v_{r+1}, \bold v_{r+2} , \cdots , \bold v_n이 subspace TRnT∈\mathbb R^n의 basis일 때,

    SSTT가 직교관계이면 벡터 v1,v2,...,vn\bold v_1, \bold v_2, ..., \bold v_nRn\mathbb R^n의 basis이다.

  • Q) 벡터들이 직교관계이면 해당 벡터들은 독립인가?
    • 벡터 중에 영벡터가 들어있다면 직교관계는 만족한다.
    • 하지만 영벡터가 존재하면 독립관계는 성립하지 않는다. → 따라서 항상 직교라고 독립조건을 만족하는 것은 아니다.

Combining Bases from C(AT)C(A^T) and N(A)N(A)

Combining bases from C(AT)C(A^T) and N(A)N(A) to form a basis of Rn\mathbb R^n

  • 위 정리에 의해 C(AT)C(A^T)N(A)N(A) subspace를 모은 것이 Rn\mathbb R^n의 basis임을 알 수 있다.

    • dim(C(AT))+dim(N(A))=n\dim(C(A^T)) + \dim(N(A)) = n
      • dim(C(AT))=r\dim(C(A^T)) = r
      • dim(N(A))=nr\dim(N(A)) = n-r
    • C(AT)N(A)C(A^T)⊥N(A) → 위 정리의 두가지 조건을 모두 만족하기 때문
  • Rn\mathbb R^n에 속하는 어떤 벡터 x\bold x를 서로 직교관계인 두 벡터로 나눌 수 있다.

    x=xr+xn\bold x = \bold x_r + \bold x_n
    • C(AT)={v1,v2,,vr}C(A^T) = \{ \bold v_1, \bold v_2, \cdots , \bold v_r\}xr\bold x_r

    • N(A)={vr+1,vr+2,,vn}N(A) = \{\bold v_{r+1}, \bold v_{r+2}, \cdots, \bold v_n\}xn\bold x_n

      ⇒ 특히 row space에 속하는 벡터와 nullspace에 속하는 벡터로 표현할 수 있다.

profile
우주의 아름다움도 다양한 지식을 접하며 스스로의 생각이 짜여나갈 때 불현듯 나를 덮쳐오리라.

0개의 댓글