개요

인공지능 학습에 필요한 기본개념인 [선형대수]의 이론 및 문제풀이를 진행하는 강의입니다.
강의 정보는 아래 이미지 링크를 클릭해 주세요

https://metacodes.co.kr/edu/read2.nx?EP_IDX=8389&EM_IDX=8215&M2_IDX=31635

---

1. Matrix as Linear Operator

벡터 a에 대하여 matrix A를 연산하여 새로운 벡터 b를 만들어 내는 과정은
그림에서 표현한 것처럼 흔히 함수에서 설명하는 도식인
x라는 입력을 f()라는 함수에 통과시켜서 y를 얻어낸다
라는 도식과 동일하게 표현이 가능하다.

이를 다시 설명하자면 Matrix A를 구성하고 있는 vector column인 a, b로 인해 생성 가능한 새로운 좌표공간(이때 새로운 좌표축은 a, b가 된다)으로 입력된 벡터를 이동시킨다 로 표현할 수 있으며
이는 좌표공간을 뒤트는 과정으로 이해할 수 있다.
이를 Linear Operator이라 표현한다.

이것에 대한 좀 더 직관적인 설명으로
위 사진처럼 입력 벡터 x가 있고 이를 vecotr column a, b로 구성된 matrix A를 통해 새로운 벡터 y를 만든다 가정해보자
이 A matrix는 90도 축변환을 하는 효과를 갖게끔 행렬의 인자를 위 사진처럼 구성한다면

위 사진처럼 vector x가 x축에 놓여져 있던 것이 matrix로 인해 새롭게 변형된 90도 Rotate된 좌표계를 통과하여 y축에 놓여지는 효과를 얻게 되는 것이다.

이를 Nueral Network에 적용한다면
입력 벡터 x는 hidden layer(matirx A)를 통과하여 새로운 차원에 놓여있는 벡터 y가 되는 것이다.

이렇게 Neural Network통해 입력된 데이터로 원하는 출력값을 얻어내는 행위를 선형대수학의 Linear Operator로 표현할 수 있으며,
추가적인 첨언을 하자면, 이 Linear Operation 과정은 모두 선형 과정만 포함하는 차원의 축 비틀기 이기에 원하는 출력값인 y를 얻어내는데 힘든 부분이 있다.
따라서 이 차원의 축 비틀기에 비선형성을 포함시켜 차원 비틀기를 고도화 하는 과정을 포함시키는데 이를 Activation Function이 수행한다.

이를 위 gif로 표현한다면 Activation Function이 적용된 차원 비틀기의 시각화
로 볼 수 있다.

2. Useful Matrix Properties

다음으로는 AI 논문을 보면 항상 등장하는 수식 및 기호 중 선형대수학과 관련된 내용에 관한 설명이다.

1) Determinant of $A$
$\text{det}(A)$ : $A = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$ 이러한 행렬이 존재한다면 아래의 표현식을 의미하는 것이다.

2) 행렬의 대각 합(Trace of the Matrix A)
$\text{Tr}(A)$ : 행렬의 주 대각선 원소들의 합이다.

3) 행렬의 대각 행렬 (Diagonal matrix of the matrix 𝐴
$\text{diag}(A)$ : 행렬의 대각성분 원소만 살리고 나머지 부분은 다 0으로 치환한 행렬이다.

4) 행렬의 고유값 (Eigenvalues of the matrix 𝐴)
$\text{eig}(A)$ : Eigenvalue(고유값)은 matrix $A$에 대해 $A \mathbf{v} = \lambda \mathbf{v}$를 만족하는 스칼라 값 $\lambda$를 의미함

5) 행렬의 벡터화 (Vector-version of the matrix A)
$\text{vec}(A)$ : 행렬 A를 col단위의 벡터로 쪼개는 것을 의미함

6) Matrix norm : $\|A\|$ 행렬의 크기를 측정하는 척도

그리고 행렬의 전치 $A^{-T}$ 가 있다.