[선형대수학] Linear Independence (feat. Rank)

Definition of linearly Independent

아래 linear combination를 만족하는 유일한 해가 $x_i=0, \forall i$ 일 때, $\bold v_1... \bold v_n$ 벡터들은 서로 linearly Independent(일차/선형 독립) 이다.

• Definition의 의미

  $\bold v_1... \bold v_n$ 열벡터를 갖는 행렬 $A$에 대해, $A \bold x= \bold 0$의 유일한 해가 $\bold x = \bold 0$ 일 때 행렬 $A$의 열벡터는 서로 선형독립이다.

  → Rank의 개념을 적용하면 선형독립과 Rank의 관계를 유추할 수 있다! [Full column Rank]
  

• 독립이 아니라면? (=종속이라면?)
  • 만약 종속관계라면 linear combination에서 $0$이 아닌 다른해를 가진다.
  • 종속관계이면 해당 관계에 속하는 벡터를 다른 벡터의 linear combination으로 표현할 수 있다.
    → $x_i ≠ 0$ 이라면, 다음과 같은 linear combination으로 $\bold v_i$를 표현할 수 있다.
    $\bold v_i = - \frac{1}{x_i} (x_1\bold v_1 + x_2 \bold v_2 + \cdots + x_n \bold x _n )$

Linear Independece에서 Rank의 의미

the rank of a matrix is also defined as the maximum number of linearly independent columns in the matrix.

행렬의 Rank는 행렬에서 독립적으로 뽑아낼 수 있는 column의 최대개수이다.

• Rank와 Independence의 관계

  • 만약 행렬이 full column rank이면, 모든 column들이 서로 독립적인 관계이다.
    *full column rank : Rank의 개수가 column의 갯수와 동일
    • $m \times n$ 행렬 $A$가 full column rank일 때, $n$개의 pivot variable/column을 가진다.
    • (pivot variable/column으로 표현되는) free variable/column을 가지지 않는다. [종속적인 관계]
    • Null Space는 영벡터만을 갖는다.
      $N(A) = \{ \bold 0 \}$
    • $A\bold x = \bold b$ 는 해를 아예 가지지 않거나 1개의 해만을 가진다.
  • pivot을 가지는 column(=pivot column)들은 서로 독립관계이며, pivot을 갖지 않는 column(=free column)은 다른 pivot column들의 linear combination으로 나타낼 수 있다.

• Row / Column rank와 Independence의 관계

  • Row rank는 선형독립한 행의 최대개수와 같다.
  • Column rank는 선형독립한 열의 최대개수와 같다.
    ⇒ row rank와 column rank는 사실상 같은 의미이다.
    $r(A) = r(A^T)$

Checking Linear Independence

Rank의 갯수는 독립인 column의 수와 동일하다는 점을 이용하여 확인한다.

$m$차원 벡터 $n$개가 모여있을 때, (= $m \times n$ 행렬 $A$을 의미)

• $n > m$이면 (벡터가 존재하는 차원보다 더 많은 벡터가 있을 때) 종속이다. ex) 2차원 좌표에 2개 이상의 벡터가 존재하면, 그 벡터들의 선형결합으로 다른 모든 2차원상의 벡터를 표현할 수 있게 된다.
  
• $n ≤ m$인 경우

  1. 각각의 벡터를 열벡터로 갖는 행렬 $A$를 생각한다. $A = [\bold v_1\ \bold v_2\ \cdots\ \bold v_n]$

  2. $A$에 Gauss Elimination을 적용하여 $r(A)$를 구한다.

  3. 만약 $r(A) = n$ (full column rank) 이면 독립이다.

     ↔ $r(A)<n$ 이면 종속이다.