핵심 Linear Algebra 정리

Linearly Independent란?

• Vector의 집합 $V$ = { $v_1, v_2, ..., v_n$}에 대하여 $c_1v_1 + c_2v_2+...+c_nv_n = 0$을 만족하는 경우가 $c_1 = c_2 = ... = c_n = 0$ 일 때를 의미한다.
• 즉 집합 $V$에 속하는 벡터들의 일차결합 (linear combination)으로는 집합 $V$에 속하는 다른 벡터들을 표현할 수 없다는 것이다. (자기 자신 제외)

Basis와 Dimension이란 무엇인가?

• Basis of V: Vector Space V를 span하는 최소한의 Vector의 집합.
• Dimension of V: 이때 Basis 집합의 원소의 수를 의미한다.

Rank란 무엇인가?

• Row Space, Column Space (= Image)의 Dimension이라 할 수 있음.
• 이때 Rank의 값은 행렬의 Leading-1의 개수와 동일함.
• Row Space, Column Space(= Image)는 각 Row Vector, Column Vector들이 Span하는 Space를 의미한다.

Null space란 무엇인가? = Kernel

• $Ax = 0$에서 해공간을 의미한다.
• 이때 행렬 $A \in R^{m*n}$일 때, 행렬 A의 leading-1의 개수가 k (k<n)일 때, Dimension of Null Space = Nullity = n-k가 되고, 반대로 rank는 k가 된다.

Orthogonal Matrix

• $A^T = A^{-1}$일 때

Symmetric Matrix란 무엇인가?

• $A = A^T$인 행렬을 Symmetric Matrix라고 한다.
• 이 대칭 행렬은 매우 많은 여러가지 성질을 가지고 있다.
• 만약 A가 대칭 행렬이고, A의 역행렬이 존재할 때 $(A^{-1})^T=(A^{T})^{-1} = A^{-T}$이다.

Spectral Theroem

: Symmetric Matrix의 Eigen vector로 이루어진 Vector Space $V$에는 Orthonormal Basis가 존재한다.

Possitive-definite란?

• 먼저 Inner Product를 정의해야 한다.
  - Inner Product는 Dot product가 될 수도 있고, 행렬 A에 대하여 $x^TAy$와 같은 형태 등으로 정의될 수도 있다.
• $\Omega(x, y)$를 $x, y$벡터의 inner product(bilinear mapping)라고 할 때 Positive-definite를 정의한다.
  - 이때 $\Omega: V \times V -> R$
• Symmetric: $\Omega(x, y) = \Omega(y, x)$
• Positive definite: $\forall x \in V\diagdown${0}: $\Omega(x, x)>0, \Omega(0, 0)=0$
• Positive definite한 행렬의 eigen value들은 모두 양수이다.

Matrix에서 Positive definite 정의하기

• 행렬 A에 대해서 positive definite를 정의할 때
• $x^TAx>0$이면 되는 것이다.
• 이때 이런 행렬 A의 eigen value의 값들은 모두 양수가 된다.

Determinant가 의미하는 바는 무엇인가?

• Determinant는 Square Matrix (행의 개수와 열의 개수가 같은 정방 행렬)에서만 정의 가능하다.
• Determinant가 0이면, 역행렬이 존재하지 않는다는 뜻이다.
• 삼각행렬의 Determinant는 대각원소의 곱이다.
  - $det(T) = \prod_{i=1}^{n} T_{ii}$
• 행렬 A의 eigen value가 $\lambda_i$이면,
  - $det(A) = \prod_{i=1}^n\lambda_i$

• Eigen Vector는 무엇인가?
• Eigen Vector는 왜 중요한가?
• Eigen Value란?
• SVD란 무엇인가?→ 중요한 이유는?
• Jacobian Matrix란 무엇인가?