[ML] 선형대수학

공부 기록

행렬과 벡터

• 기본 상식 + 아는 내용이라 정리 스킵 (추후에 시간되면 추가)
• 행렬의 곱
  • 행 x 열 방식 → AB 는 A의 i번째 행벡터와 B의 j번째 열백터의 내적
    $(AB)_{ij}=row_i(A) ⋅ col_j(B)$
  • 열 x 행 방식: 관점 바꿔서 해석 (수업 중에 언급함, 교안에는 없음)

    • $A$의 열벡터: $\mathbf{a}_1, \mathbf{a}_2, \dots,\mathbf a_n$

    • $B^T$의 행벡터: $\mathbf {{b}^T​_1, {b}^T_2​,…,{b}^T_n}$

      $\mathbf {AB = a_1{b}^T_1+a_2{b}^T_2+ ⋯ + a_n{b}^T_n}$

      ⇒ 외적의 합

• 특별한 행렬들
  • 대칭행렬
  • 반대칭행렬
  • 삼각행렬
  • 대각행렬(대각선에만 0이 아닌 실수), 스칼라행렬(대각선에 0이 아닌 모두 같은 실수)
  • 단위행렬(스칼라행렬인데 대각선에 1)

벡터의 독립과 종속

• 1차 결합:
• 1차 독립: 1차 결합의 합이 0일 때, C=0이 유일한 해
• 1차 종속: 1차 결합의 합이 0일 때, C=0이 유일한 해 X → 하나의 벡터를 다른 벡터의 1차 결합으로 만들 수 있음

행렬의 계수

• 행렬에서 1차 독립인 ‘행벡터’의 최대 수 = 1차 독립인 ‘열벡터’의 최대 수 도 성립
• 전치해도 계수 안변함

벡터공간

• 기저(Basis): $V$에 속한 1차 독립인 벡터들의 최대 집합
• 차원(dim V): 벡터공간 V에 속한 1차 독립인 벡터들의 최대 수 (= 기저를 구성하는 원소의 개수)
• 생성공간(Span): 벡터들이 주어졌을 때, 이들의 1차 결합으로 표현되는 모든 벡터들의 집합 ⇒ 벡터 공간에서 특정 벡터들이 만들 수 있는 전체 공간
• 행공간: 행터들의 생성공간
• 열공간: 열벡터들의 생성공간
• 행공간과 열공간의 차원은 같고 이는 rank와 동일하다.
• 영공간: Ax=0의 해를 모두 모은 집합

선형연립방정식의 해

• 계수행렬과 첨가행렬이 같은 rank를 가지면 → 해는 유일성, 존재성 만족 → 당연함. 미지수의 개수와 식의 개수가 같으면 각각의 해는 유일하고 존재함
  

행렬식

• 정방행렬에 관한 스칼라값
• 기본 행연산 수행 시 n차 행렬식의 변화
  • 두 행을 바꾸면 행렬식의 값에 -1 곱해짐
  • 한 행의 상수배를 다른 행에 더하는 것은 행렬식 값에 영향 안 줌 == 두 행이나 두 열이 비례관계가 있으면 행렬식의 값은 0
  • 한 행에 상수배하면 행렬식이 상수배가 됨 → 이거 처음에 배울 때 ㅈㄴ헷갈렸음

역행렬

• $A$는 $n$ x $n$ 정방행렬
• $\mathbf {AA^{-1}=A^{-1}A = I}$ 를 만족하는 행렬 $A^{-1}$
• A가 역행렬을 가지면 A는 정칙행렬이라고 함 → $rank\ \ A = n$
• A가 역행렬을 가지면 그 역행렬은 유일함
• A가 역행렬을 갖지 않으면 A는 특이행렬 → $rank\ \ A < n$
• 역행렬의 성질 !image.png
  

행렬의 고유값, 고유벡터

• $n$ x $n$ 정방행렬 $A$에 대해, 오른쪽의 벡터 방정식을 만족하는 $\lambda$값을 고유값, $\lambda$에 대응하는 해 $\mathbf x$를 고유벡터

• 고유값과 고유벡터를 구하는 방법: $\mathbf {(A-\lambda I)x=0}$ 의 영공간의 기저를 구하는 것
• $\mathbf {det(A-\lambda I)=0}$ : 특성방정식
• $\mathbf {A-\lambda I}:$ 특성행렬
• $\mathbf {D(\lambda)}$: 특성행렬식

대칭, 반대칭, 직교 행렬

• 대칭, 반대칭은 위에 나옴 특별한 행렬들
• 직교행렬: $\mathbf {A^T = A^{-1}}$
• 직교변환: 직교행렬을 사용한 $\mathbf {y=Ax}$ 와 같은 변환 (예: 직교변환) *직교변환은 다 회전변환에 해당함
  $\mathbf {y = \begin{bmatrix} y_1\\ y_2\\ \end{bmatrix} = \begin{bmatrix} cos\theta &-sin\theta\\ sin\theta & cos\theta\\ \end{bmatrix} \begin{bmatrix} x_1\\ x_2\\ \end{bmatrix} }$

벡터의 내적

• 성분의 개수가 같아야 (==같은 차원에 있어야) 내적이 가능함
• 스칼라: 크기만
• 벡터: 크기와 방향
  • 화살표: 시작점/ 끝점
  • 벡터의 길이: 시작점과 끝점 사이의 거리 = 노름 = $|\mathbf a|$ *2-norm
• $\mathbf {a = [a_1, a_2, a_3], b=[b_1, b_2, b_3]}$
  $\mathbf {a {\cdot} b = a_1b_1+a_2b_2+a_3b_3 = |a||b|cos\gamma = a^Tb}$
• 직교성: 영벡터가 아닌 두 벡터의 내적이 0이될 필충조건 → $\cos \gamma = 0$
• 내적의 성질(참고)