Linearly Independent

• 행렬의 열백터(or 행벡터)들이 서로 스칼라배나 합으로 표현될 수 없는 상태
• $Ax=0$을 만족하는 해가 $x=0$뿐이여야 함
  $x_1 \mathbf{a}_1 + x_2 \mathbf{a}_2 + \dots + x_n \mathbf{a}_n = \mathbf{0}$
• orthogonal하면 independent을 만족 (역은 참이 아닐 수도 있음)

Basis

• 어떤 공간을 이루는 independent한 구성 요소
• Column space에서 아래와 같이 기저벡터를 표현
  

Orthogonal matrix

• 벡터들이 서로 직교하고 크기가 1인 벡터들로 구성된 행렬
• $Q^-1 = Q^T$

Rank

• 행렬이 가지는 linearly independent한 columns의 수
• indenpendent한 column의 수와 row의 수는 동일
  ex) 2x3행렬이면 full row rank 행렬

1. full column rank

• 행렬 $A$가 $10 \times 3$일 때, $Ax = b$ 연산이 공간 영역에서 3D → 10D로 mapping되는 변환
• 10차원이지만 3개의 column가 basis vector역활을 하여 3차원 부분 공간 내에만 존재

2. full row rank

• 이번에는 반대로 가로로 긴 납작한 행렬($3 \times 10$)이면서 Full Row Rank인 케이스
• 10차원에서 내려온 데이터들이 3차원 공간의 어느 곳이든 도달할 수 있다는 뜻
• • 영공간(Null Space)의 차원이 $10 - 3 = 7$차원 → 해가 무수히 많음

Null space

• 행렬 A가 무시하거나 죽여버리는 방향들의 공간 (column space와는 다른 개념)
• 전체 입력 차원 ($n$) = 진짜 정보의 수 ($\text{Rank}$) + 버려지는 정보의 수 ($\text{Nullity}$)
• null space와 row space는 수직
  

Non-singular Matrix

• 공간 영역의 변화로 생각했을 때 하위 차원으로 찌그러지지 않는 행렬 변화
• 차원을 유지하며 ranslate, Rotate, Scale 변경을 하는 선형 변환
• $\det(A) \neq 0$ → 역행렬이 존재
• $rank(A) = n$ → Full Rank
• Null Space는 0뿐임
• Eigen value $\neq 0$