Subspace

Definition Vector Space

벡터들을 모아둔 집합이 다음 공리들을 만족할 때 이를 벡터공간: vector space이라고 부른다.

• $V$에 속하는 모든 벡터에 대해 교환법칙이 만족
  $\bold u + \bold v = \bold v + \bold u\ \ ∀\bold u, \bold v ∈ V$
• $V$에 속하는 모든 벡터에 대해 결합법칙이 만족
  $(\bold u + \bold v) + \bold w = \bold u + (\bold v + \bold w)\ \ ∀\bold u, \bold v, \bold w ∈ V$
• $V$에 속하는 모든 벡터에 대해 0벡터가 존재
  → There exists a vector $\bold 0 ∈ V$ , called the zero vector. such that
  $\bold v + \bold 0 = \bold v\ \ ∀\bold v ∈ V$
• $V$에 속하는 모든 벡터에 대하여 그 벡터의 음의 벡터와의 합은 0벡터를 만족
  → For every $\bold v ∈ V$ , there exists a vector $−\bold v ∈ V$ such that
  $\bold v + (−\bold v) = 0\ \ \forall \bold v\in V$
• $V$에 속하는 모든 벡터에 대해 분배법칙이 만족 ($c$는 상수)
  $c(\bold u + \bold v) = c\bold u + c\bold v\ \ ∀\bold u, \bold v ∈ V$
• $V$에 속하는 모든 벡터에 대해 다음을 만족
  $1 · \bold v = \bold v\ \ \forall \bold v \in V$
• $V$에 속하는 모든 벡터의 상수곱에 대해 결합법칙이 만족
  $(c_1c_2)\bold v = c_1(c_2\bold v)\ \ \forall \bold v \in V$
• $V$에 속하는 모든 벡터의 상수연산에 대해 분배법칙이 만족
  $(c_1 + c_2)\bold v = c_1\bold v + c_2\bold v\ \ \forall \bold v \in V$

Definition of Subspace

vector space $V$의 부분공간(집합*) $S$가 다음 2개의 조건을 만족할 때, $S$를 Subspace라고 한다.

$S$에 속하는 벡터 $\bold v, \bold w$ 에 대해 다음을 만족 ($c$는 상수)

1. 더하기 연산에 대해 “닫혀있다.”*

   $\bold v + \bold w ∈ S$

2. scailing 연산에 대해 “닫혀있다.”

   $c \bold v ∈ S$

→ 즉, subspace $S$는 linear combination*에 대하여 닫혀있다.(closed under)

• 닫혀있다? (closed under)
  $S$에 속하는 벡터에 연산을 진행하더라도, 연산을 진행한 결과 벡터가 여전히 부분공간 $S$안에 존재한다.
  

• liner combination : 선형결합
  $\forall \bold{v, w}\in S\ \rightarrow \ \ c\bold v+ d \bold w \in S\ \ (\forall c, d\in \mathbb R)$

• subspace와 subset의 차이점
  • subset : 단순히 전체집합의 일정 원소를 갖는 부분집합
  • subspace : subset이 어떤 특정 조건을 만족해야함

Subspace인지 아닌지 확인하는 방법

• 정의를 이용해서 공간 $S$에 속하는 임의의 벡터 $\bold v$와 $\bold w$를 정한뒤, liner combination의 결과가 여전히 $S$ 안에 존재하는 것을 보인다.
• 이때, 어떤 벡터공간의 subspace인지를 정하는 것은 벡터의 차원이 결정한다.
  ex) 2차원 벡터이면 2차원 벡터공간($\mathbb R^2$)의 subspace
  $\begin{bmatrix} 1 \\ 1 \end{bmatrix} \rightarrow \mathbb R^2$
• 예시

1. 다음 집합이 어떤 벡터공간의 Subspace인지를 확인하여라.
   $\left\{ c \begin{bmatrix} 1 \\1 \end{bmatrix},\ \forall c\in\mathbb R \right\}$
   → 위 집합은 $[1,\ 1]^T$ 벡터의 모든 scalar multiplication(=scailing)들의 집합을 의미한다.
   a. 어떤 벡터 $\forall \bold{v, w}\in S$를 정의
   $\forall \bold v, \bold w \in S,\ \ \forall a,b\in\mathbb R\\\ \\\bold v=a\begin{bmatrix} 1 \\1 \end{bmatrix},\bold w=\ b\begin{bmatrix} 1 \\1 \end{bmatrix}$
   b. liner combination의 결과가 여전히 $S$ 안에 존재함을 보임
   $c\bold v + d \bold w =ca\begin{bmatrix} 1 \\1 \end{bmatrix} + d b\begin{bmatrix} 1 \\1 \end{bmatrix}\\\ \\ = (ca+db)\begin{bmatrix} 1 \\1 \end{bmatrix} \in S$
   따라서 $S$는 $\mathbb R^2$의 subspace이다.
2. 다음 집합이 어떤 벡터공간의 Subspace인지를 확인하여라.
   $\left\{ c \begin{bmatrix} 1 \\1 \end{bmatrix} + d \begin{bmatrix} 2 \\3 \end{bmatrix},\ \forall c,d\in\mathbb R \right\}$
   → 위 집합은 $[1,\ 1]^T$ 벡터와 $[2,\ 3]^T$벡터의 모든 linear combination들의 집합을 의미한다.
   a. 어떤 벡터 $\forall \bold{v, w}\in S$를 정의
   $\forall \bold v, \bold w \in S,\ \ \forall a_1,a_2,b_1,b_2\in\mathbb R\\\ \\\bold v=a_1\begin{bmatrix} 1 \\1 \end{bmatrix}+a_2\begin{bmatrix} 2 \\3 \end{bmatrix},\bold w=\ b_1\begin{bmatrix} 1 \\1 \end{bmatrix}+ b_2\begin{bmatrix} 2 \\3 \end{bmatrix}$
   b. liner combination의 결과가 여전히 $S$ 안에 존재함을 보임
   $c\bold v + d \bold w =ca_1\begin{bmatrix} 1 \\1 \end{bmatrix}+ca_2\begin{bmatrix} 2 \\3 \end{bmatrix}+d b_1\begin{bmatrix} 1 \\1 \end{bmatrix}+ db_2\begin{bmatrix} 2 \\3 \end{bmatrix}\\\ \\ = (ca_1+db_1)\begin{bmatrix} 1 \\1 \end{bmatrix}+(ca_2+db_2)\begin{bmatrix} 2 \\3 \end{bmatrix} \in S$
   따라서 $S$는 $\mathbb R^2$의 subspace이다.

Properties of Subspace

1. subspace에는 0벡터가 반드시 포함되어야한다.

   $0 ∈ S$

2. 원점을 지나는 직선은 subspace이다.

   (원점을 지난다는 것은 0벡터를 가진다는 의미이기 때문이다.)

3. $\mathbb R^n$은 자기자신의 subspace이다..

   (부분집합 개념이랑 동일함)

4. $\mathbb R^3$ 공간에서 가능한 subspace는 $\{0\}$, $0$을 지나는 직선, $0$을 지나는 평면이다.

Space of Matrix

행렬에 대해 정의되는 4개의 space

Column Space $C(A)$

행렬 $A$에 있는 모든 column에 대한 liner combination의 집합

x벡터의 각 요소가 A의 column에 곱해지는 상수값(scailing)으로 생각

• column space의 표현 예시
  $\bold x = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix},\ \ A=\begin{bmatrix} 1 & 0 \\ 0 & 1\end{bmatrix}= \begin{bmatrix} \bold{a_1}\ \ \bold{a_2}\end{bmatrix}$
  $A\bold x= x_1\bold{a_1} + x_2\bold {a_2}\\\ \\ =\left\{ \begin{bmatrix} x_1 \\x_2 \end{bmatrix} ,\ \forall \bold x \right\} = \mathbb R^2$
  → 2차원 벡터공간
  $\bold x = \begin{bmatrix} x_1 \\ x_2 \\ x_3\end{bmatrix},\ B=\begin{bmatrix} 1 & 2 & 3 \\ 1 & 2 & 3\end{bmatrix}= \begin{bmatrix} \bold{b_1}\ \ \bold{b_2}\ \ \bold{b_3}\end{bmatrix}$
  $B\bold x= x_1\bold{b_1} + x_2\bold {b_2}+x_3\bold {b_3}\\\ \\ =\left\{ (x_1+2x_2+3x_3)\begin{bmatrix}1 \\1 \end{bmatrix} ,\ \forall \bold x \right\} \in \mathbb R^2$
  → 2차원 공간에서 원점을 지나는 한 직선
  
• subspace?
  • $A$가 $m\times n$ 행렬일 때, $A\bold x$는 $m\times1$인 $m$차원 벡터를 의미한다.
  • 벡터 $\bold x$가 $A$의 오른쪽에 곱해지기 위해서 $\bold x$는 $n$차원 벡터여야만 한다.
    $C(A)=\left\{ A\bold x,\ \ \forall \bold x \in \mathbb R^n \right\} \sube \mathbb R^m$
  • 따라서 $C(A)$는 $\mathbb R^m$의 subspace이다.

Row Space $C(A^T)$

행렬 $A$에 있는 모든 행에 대한 liner combination 을 모아둔 공간

↔ $A$의 transpose matrix의 Column space

x벡터의 각 요소가 A의 row에 곱해지는 상수값(scailing)으로 생각

Null Space $N(A)$ 💫

$A\bold x = 0$을 만족하는 모든 solution vector $\bold x$들을 모아둔 공간

x벡터의 각 요소가 A의 column에 곱해지는 상수값(scailing)으로 생각

• $A$의 역행렬과 Null Space의 관계
  $\exist\ A^{-1} \rightarrow\ N(A) = \left\{ \bold 0 \right \}$
  → invertible matrix $A$의 Null space는 0벡터 뿐이다.
  Pf)
  $A\bold x = 0$
  양변에 $A$의 역행렬을 곱한다.
  $A^{-1}A\bold x = 0$
  역행렬에 정의에 따라 역행렬과 기존행렬의 곱은 항등행렬로 사라지므로,
  $\bold {x}=0$
• subspace?
  • $A$가 $m\times n$ 행렬일 때, $A\bold x$는 $m\times1$인 $m$차원 벡터를 의미한다.
  • 벡터 $\bold x$가 $A$의 오른쪽에 곱해지기 위해서 $\bold x$는 $n$차원 벡터여야만 한다.
    $N(A)=\left\{ \bold x,\ \ A\bold x =0 \right\} \sube \mathbb R^n$
  • 따라서 $\bold x$를 원소로 갖는 집합 $N(A)$는 $\mathbb R^n$의 subspace이다.

+여기에 $A$의 transpose matrix에 대한 NullSpace $N(A^T)$까지 포함하여 4개의 space를 갖는다.