Span

Definition of Span

벡터들의 모든 linear combination을 모아둔 space가 다른 space와 정확히 같을 때, 해당 벡터들의 집합이 해당 space를 span한다고 한다.

• 주의점 : 정확히 동일한 경우에만 span이라고 한다. 포함관계($⊂,⊃$)면 span하지 않는다.
• $\bold v_1$과 $\bold v_2$의 span : $\bold v_1$과 $\bold v_2$의 모든 linear combination을 모아둔 space
  $\left\{ c_1 \bold v_1 + c_2 \bold v_2,\ \ \forall c_1,c_2 \in \mathbb R \right\}$
• ex) 행렬의 column들은 column space*를 span한다.
  → column space는 column의 모든 linear combination을 모아둔 subspace
  $\text{if}\ \ A=[\bold a_1\ \bold a_2\ \cdots\ \bold a_n]\\\ \\C(A) = \left\{ c_1 \bold a_1 + c_2 \bold a_2+\cdots+c_n \bold a_n,\ \ \forall c_i \in \mathbb R \right\}$

special solution과 NullSpace의 관계 : span

$A\bold x = \bold 0$의 special solution들은 Null space $N(A)$를 span한다.

• Null space인 $N(A)$의 정의 자체가 special solution들의 모든 linear combination을 모아둔 공간이기 때문이다.

• $A$가 $m\times n$ 행렬일 때 $r(A) = r$개라고 가정하면, $n-r$개의 special solution을 가진다.

  $N(A) = \{c_1\bold s_1 + ... + c_{n-r}\bold s_{n-r},\ ∀c_1, ..., c_{n-r} ∈ \mathbb R\}$

span과 independent

• 어떤 vector들이 어떤 space를 span한다고 해서, 해당 벡터들이 반드시 선형독립인것은 아니다.
  • span하는 벡터들은 서로 독립이어야한다는 조건은 존재하지 않는다.
  • 종속관계인 벡터들도 서로 모여 space를 만들고, span할 수 있다.
• 어떤 space를 span하는 벡터들이 특별히 linear independent 관계일 때, 이를 Basis라고 부른다.

Basis

Definition of Basis

어떤 space를 span하는데 필요한 벡터의 최소모음

→ 이 벡터들은 서로 lineary independent 하다.

• basis의 표현은 무수히 많을 수 있다. (ex: $[1, 2], [2, 4], [0.5, 1]...$ 같은 계수비)

• 어떤 basis로 그 basis가 span하는 공간안의 어떤 벡터를 표현할 때, 단 1가지 방법의 선형결합으로 표현할 수 있다. [only one linear combination]

• basis는 space를 span하기 때문에, 해당 space안의 어떤 벡터라도 basis들의 linear combination으로 표현할 수 있다.

Basis of C(A)

• Comlun space와 linear independence

  • $C(A)$는 $A$의 모든 column들의 linear combination이다.
  • 따라서 $A$의 column은 $C(A)$ 공간을 span한다.
  • 하지만 $A$의 column들 사이에는 독립관계가 보장되지 않기 때문에 basis는 아니다.

• Basis of $C(A)$ 찾는 방법

  1. 행렬 $A$를 elimination하여 pivot column을 찾는다.

     • elimination하면 column space는 바뀔 수 있지만, row space는 변하지 않는다.
     • elimination했을 때, pivot column들은 반드시 독립이 될 수 밖에 없다.

  2. pivot column과 동일한 위치(=열)에 존재하는 기존 $A$의 column들이 $C(A)$의 basis이다.

     → pivot column만 basis인 것은 아니지만, pivot column은 무조건 basis이다.

Finding a Basis (C(A) case의 확장)

벡터 $\bold v_1, \bold v_2, ... \bold v_n$이 어떤 space $S$를 span할 때,

1. 각 벡터를 column을 갖는 행렬 $A$를 생각한다. $A = [\bold v_1\ \bold v_2\ \cdots \ \bold v_n]$

2. 행렬 $A$를 elimination하여 pivot column을 찾는다.

3. pivot column과 동일한 위치에 존재하는 elimination하기 전 기존 행렬 $A$의 column벡터들이 $S$의 basis이다.

각 벡터를 열로 갖는 행렬을 가정한 뒤에는, $C(A)$의 Basis를 찾는 과정과 동일하다.

예시

*space $S$

1. 행렬 $A$ 가정

   $A = \begin{bmatrix} 1 & 1 & 4 \\ 2 & 1 & 6 \\ 3 & 1 & 8 \end{bmatrix}$

2. elimination해서 pivot column 구하기

   $\begin{bmatrix} 1 & 1 & 4 \\ 2 & 1 & 6 \\ 3 & 1 & 8 \end{bmatrix} \rightarrow^{G.E}\begin{bmatrix} 1 & 1 & 4 \\ 0 & -1 & -2 \\ 0 & -2 & 0 \end{bmatrix} \rightarrow^{G.E}\begin{bmatrix} \color{blue}1 & \color{blue}1 & 4 \\ \color{blue}0 & \color{blue}-1 & -2 \\ \color{blue}0& \color{blue}0 & 0\end{bmatrix}$

3. basis 구하기

   $\begin{bmatrix} \color{blue}1 & \color{blue}1 & 4 \\ \color{blue}2 & \color{blue}1 & 6 \\ \color{blue}3 & \color{blue}1 & 8 \end{bmatrix}\ \ \rightarrow\ \ \ \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix},\ \begin{bmatrix} 1 \\ 1 \\ 1\end{bmatrix}$

invertible matrix와 basis

$n\times n$ invertible matrix의 column들은 $\mathbb R^n$의 basis이다.

why?

• 역행렬을 가지기 위한 조건에 따라 $A$는 $n$개의 pivot을 갖는다. $r(A) = n$
• $A$의 column들은 모두 linear independece이다.
• 따라서 $n$차원 $n$개의 column vector는 $\mathbb R^n$을 span하며, 서로 linear independece하기 때문에 basis이다.

basis와 basis를 구성하는 벡터간의 관계

어떤 Space에 대하여 basis는 무수히 많이 존재하는데, 이 basis들은 모두 같은 수의 벡터를 가진다.

증명

1. 어떤 하나의 space에 대하여 $m$개의 벡터를 가지는 basis $V$와 $n$개의 벡터를 가지는 서로 다른 basis $W$가 있을때 $n > m$이라고 가정하자. (서로 다른 수의 벡터를 갖는 basis들이 존재한다고 가정: 귀류법)

2. basis $W$를 구성하는 벡터들은 space안에 포함된 벡터이기 때문에, 다른 basis인 $V$의 선형결합으로 각 벡터들를 표현할 수 있을 것이다.

   $\bold w_i = a_{1i}\bold v_1 + a_{2i}\bold v_2 + \cdots + a_{mi}\bold v_m$

3. 이를 행렬곱으로 나타내면, 아래와 같다.

   $W= [\bold w_1\ \bold w_2\ \cdots\ \bold w_n] = [\bold v_1\ \bold v_2\ \cdots\ \bold v_m] \begin{bmatrix} a_{11}& \cdots &a_{1n} \\ \vdots &\ddots &\vdots \\ a_{m1}& \cdots &a_{mn} \end{bmatrix} = VA$

   a. 이때 행렬 $A$에서 가정에 따라 $n>m$이므로 full column rank 조건을 만족하지 않는다.

   → $A\bold x = \bold 0$에서 $0$이 아닌 solution이 존재한다.

   b. 따라서 양변에 0이 아닌 solution $\bold x$를 곱한다.

   $W\bold x = VA\bold x$

4. 이때 $A\bold x = \bold 0$이 되는 $0$이 아닌 solution $\bold x$를 곱했기 때문에, 우변은 $0$이 된다.

   $W\bold x = \bold 0$

5. [모순] 이때 basis $W$는 독립관계이기 때문에 위 수식을 만족하는 solution $\bold x$는 반드시 0이 되어야한다. 즉, $0$이 아닌 solution $\bold x$에 대하여 $W\bold x = \bold 0$이 될 수 없다.

   → 증명 도중 모순이 발생했기 때문에 가정이 틀렸다.

   + $m>n$인 경우에 대해서도 진행하면 모순이 발생함 ($V=WA$). 따라서 $n=m$이다.

Standard basis

어떤 공간을 표현하는 표준 기저.

• 열 벡터를 구성하는 요소중에 하나만 1인 벡터들로 구성된 basis를 칭한다.
• ex) 3차원 공간 $\mathbb R^3$의 Standard basis
  $\bold e_x = \begin{bmatrix} 1 \\ 0 \\ 0\end{bmatrix},\ \bold e_y = \begin{bmatrix} 0 \\ 1 \\ 0\end{bmatrix},\ \bold e_z = \begin{bmatrix} 0 \\ 0 \\ 1\end{bmatrix}$

Dimension

Definition of Dimension

어떤 space의 차원은 basis의 벡터의 개수를 의미한다.

$=$ pivot column의 개수

$=$ pivot의 개수

$=$ rank의 개수

Dimension of Subspace

$m\times n$ 행렬 $A$에 대하여,

• column space : $A$의 column space의 dimention은 $A$의 rank의 개수와 같다.
  $\dim(C(A)) = r(A)$
• Null space : $A$의 nullspace의 dimention은 $A$의 special solution의 개수와 같다.
  $\dim(N(A)) = n - r(A)$
  $N(A)$는 special solution들의 linear combination으로 서로 독립이니까 basis의 조건을 만족함
  $=$ $A$의 special solution의 개수
  $=$ free column/variable의 개수
  

영벡터의 dimension 💫

• 영벡터는 기하학적으로 어떤 1개의 dot을 의미함
• 영벡터는 모든 linear combination에 대하여 갇혀있기에 subspace가 맞다.
  ex) $c \cdot \bold 0 = \bold 0$
  
• basis는 empty vector이다. $\dim=0$
  $\text{span} (\empty) = \left\{ \bold 0 \right \}$
  증명

  1. empty vector이 basis임을 보인다.
     a. linear combination의 결과가 $0$이면 $\bold x$는 영벡터만 가능하다. (=span 조건)

     가정) 어떤 영벡터가 아닌 $\bold x$에 대해 다음이 성립한다고 하자. [귀류법]

     $x_1\bold v_1 + \cdots + x_n \bold v_n = 0$

     b. 서로 독립이다.

     → empty vector는 가지고 있는 벡터가 없기 때문에, 식이 성립할 수가 없기 때문에 두 조건 모두 만족한다고 할 수 있다.
     

  2. 따라서 empty vector가 span하는 space는 가장 작은 space이다.

  3. 그런데 empty vector는 모든 space에 포함관계이다.

     (모든집합은 부분집합으로 공집합을 가짐)

  4. 따라서 가장 작은 space는 $\{ \bold 0 \}$이다.