[2주차]인공지능 수학 - 20211214(1)

김동영·2021년 12월 14일

선형 조합 행렬 분해

프로그래머스 인공지능 데브코스

목록 보기

3/23

행렬 분해

행렬을 임의의 개수의 조각으로 분해하면

계산의 편의성을 얻을 수 있다.

행렬 분해의 방법은

LU 분해(LU decomposition)
QR 분해(QR decomposition)
특이값 분해(SVD, Singular Value Decomposition)

이 있다.

LU 분해

L : lower triangular matrix(하삼각행렬)
U : upper triangular matrix(상삼각행렬)

기존 Ax = b 문제를 A = LU로 분해하면

(LU)x = b, Ly = b 형태로 변형할 수 있고

전방 대치법(Forward-subtituion)
후방 대치법(Back-subtitution)

을 이용하여 문제가 간단해진다.(미지수를 구하는 과정이)

LU 분해는 가우스 소거법의 전방소거법 과정과 유사한 의미를 지닌다.

행렬의 곱의 특징

행렬의 곱은 병렬 계산이 가능하기 때문에,

인공지능 계산을 위해서는 이를 활용해야 속도의 이점을 얻을 수 있다.

텐서

텐서(tensor)는 스칼라, 벡터, 행렬을 아우르는 개념이며,
숫자가 "늘어설 수 있는" "방향"이 k개면 k-텐서라고 한다.

0-텐서 : 스칼라, 1개의 숫자이므로 "늘어선다"는 개념이 없음
1-텐서 : 벡터, 한 방향으로 늘어설 수 있음
2-텐서 : 행렬, 두 방향으로 늘어설 수 있음
대표적인 3-텐서 : RGB 이미지의 각 좌표의 RGB 값으로 이루어진 행렬

분할 행렬

하나의 행렬을 케이크 조각 자르듯이 분할하여 다루는 것

\left[ \begin{array}{c | c} \begin{array}{c c c} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array} & \begin{array}{c c c} a_{13} \\ a_{23} \\ \end{array} \\ \hline \begin{array}{c c c} a_{31} & a_{32} \end{array} & a_{33} \end{array} \right] = \begin{Bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{Bmatrix}

= \left[ \begin{array}{c c c} a_{11} & a_{12} & a_{13} \\ \hline a_{21} & a_{22} & a_{23} \\ \hline a_{31} & a_{32} & a_{33} \\ \end{array} \right] = \begin{Bmatrix} r_{1} \\ r_{2} \\ r_{3}\end{Bmatrix}

= \left[\begin{array}{c|c|c} a_{11}&a_{12}& a_{13}\\ a_{21}&a_{22}& a_{23}\\ a_{31}&a_{32}& a_{33}\\ \end{array}\right] = \begin{Bmatrix} c_{1} & c_{2} & c_{3}\end{Bmatrix}

선형 조합

행렬을 분할 행렬의 관점에서 바라볼 때,
Ax = b는 A의 열벡터들에 대한 가중치의 합으로 표현할 수 있다.

\begin{Bmatrix} a_{1} & \dots & a_{n}\end{Bmatrix} \begin{Bmatrix} x_{1} \\ \vdots \\ x_{n}\end{Bmatrix} = x_{1}a_{1} + \dots + x_{n}a_{n}

이를 열벡터와 가중치들의 선형조합(linear combination)이라고 한다.

이렇게 생각하면, 선형조합의 해가 존재한다면, 선형시스템 Ax=b의 해는 존재한다. (같은 해를 가지기 때문에)

Column Space(열 공간)

행렬 A의 열벡터들에 대한 가능한 모든 선형조합의 결과를 모아 집합으로 구성할 때, 이를 Column Space라고 하고 다음과 같이 표기한다.

col(A)

Consistent Linear System

선형 시스템 Ax=b가 해를 가지면(consistent) 다음을 만족한다

b \in col(A)

Inconsistent Linear System

선형 시스템 Ax = b가 해가 없으면(inconsistent) 다음을 만족한다

b \notin col(A)

김동영

오래 공부하는 사람

이전 포스트

[2주차]인공지능 수학 - 211213

다음 포스트