Chapter 1.
주교재
David Lay. Linear Algebra and Its Application 5th
부교재
Gilbert Strang, Introduction to Linear Algebra 5th
Gilbert Strang, Linear Algebra and Its Applications 4th
온라인 강의
Gilbert Strang's MIT Lecture
선형대수의 기초
- 선형 방정식(Linear Equation)
a_1x_1+a_2x_2+..... a_nx_n = b 의 형태
각각 계수 a1, a2, a3
변수 x_1, x_2, x_3
각각 계수의 열벡터 a
변수의 열벡터 x로 나타냈을때,
a^Tx = b 와 같은 내적의 형태로 나타낼 수 있다.
- 선형 연립 방정식 (Linear System)
방정식의 집합 (Set of Equation)
AI에서 각각 데이터의 값들 (행)이 실수이고
Target Label이 정해져 있는 경우
각각 변수들의 가중합과 Target Label을 통해 연립 방정식을 나타낼 수 있다.
A(변수들의 벡터)x(가중치의 벡터) = b(타겟값의 벡터)
쉽게 푸는 방법 => 역행렬을 구하자
- 항등행렬 (Identity Matrix)
어떤 행렬와 곱해져도 그 행렬이 나옴 I로 표시
대각선만 전부 1인 벡터
*역행렬 (Inverse Matrix)
A^-1로 표기, A^-1A = AA^-1 = I를 만족
때문에 일반적으로 정사각 행렬에서만 역행렬을 구할 수 있으나
A^-1A, AA^-1 둘 중 하나만 만족하는 직사각행렬의 역행렬도 구할 수 있다
2X2 매트릭스에서는 A^-1 = 1/(ad-bc) [[d -b][-c a]] 형태로 나타남.
역행렬을 통해 Ax=b 행렬에서 가중치의 벡터인 x를 구할 수 있다.
역행렬이 존재하지 않는 경우도 존재
2X2 행렬의 경우 판별식(Determinant)
ad-bc = 0인 경우
3X3의 경우, 역행렬을 구하는 방법(pass)
판별식이 0인경우 해가 무수히 많거나, 아예 없음
연립방정식에서 변수가 소거되지 않거나 (해가 직선으로 나타남)
상수값이 다른 경우에 해당한다 (해가 없는 경우에 해당)
해가 직선으로 나타나는 경우, Regularizaion을 통해 적절한 값을 찾는다.
직사각행렬에서 역행렬
-> 일반적으로 데이터의 양이 열보다 훨씬 많기 때문에 대부분 이경우에 해당
정확하게 행렬을 구할 수는 없지만 근사적으로 만족하도록 할 수 있음
선형 결합(Linear Combinations)
벡터들이 여러개 주어져 있을때
벡터들을 상수배 하여 더한경우 선형결합이 가능
행렬곱 -> 벡터곱 변환
행렬곱에서 x에 해당하는 행렬을
행렬에 열벡터들과 x행렬의 인수들을 통해
벡터곱의 형태로도 나타낼 수 있다.
Ax = b (행렬곱)
a_1x_1+a_2x_2+.....+a_nx_n= b (벡터 방정식)
Span : 열벡터들을 가지고 만들 수 있는 모든 실수 x에 대한 선형결합의 집합
3차원공간에서 두 벡터의 span은 기하학적인 면을 만들어 낼수 있고, 세 벡터의 span은 공간을 만들어 낼 수 있다.
4차원 이상인 경우 기하학적인 이해는 어려워짐...
열벡터의 개수 = n차원
열 벡터의 개수만큼의 연립 방정식을 만든다
각 열벡터들과 변수 x의 곱으로 만들어진 span은 n차원 공간 전체를 의미한다.
b벡터들의 값의 수 = 행의 개수 = m차원
보통 데이터의 개수가 행의 개수를 의미하므로
n에 비해 m은 훨씬 큰 값을 가지며, m차원은 더 방대한 공간에 의미한다.
열벡터가 만드는 n차원이 b벡터의 m차원 안에 존재할때 벡터 방정식은 해가 존재한다.
행렬곱에 대한 4가지 접근법
1) 그냥 행렬 곱 (내적)
2-1) 열벡터와 가중치의 곱 (가중치가 단순 열벡터일때)
- 곱해지는 행렬의 열벡터를 그냥 벡터의 가중치로 생각할 수 있다.
2-2) 열벡터와 가중치 들의 곱 (가중치가 여러개의 열벡터일 때)
가중치 만큼의 여러개의 벡터를 만들 수 있고 이들은 서로 독립적이다.
3) Ax = b 양변에 Transpose가 가능.
이경우 x^TA^t = b^T의 형태가 가능
가중치(x)와 열벡터의 곱들로 나타낼 수 있다.
4) 외적의 연장으로도 가능(Sum of (Rank-1) outer Product
워드 인베딩, 행렬 분해, 공분산 등의 머신러닝에서 사용함.
100X50 행렬을
100X1(행벡터) 1X50(열벡터) 두벡터의 외적들의 합으로 나타낼 수가 있음
