Linear Algebra

Vector

수학에서 벡터
: 여러 개의 실수(스칼라)로 구성된 '순서 있는 묶음'
또는 ‘벡터 공간(Vector Space)의 원소’

• 열 벡터(N×1)

3차원, 각 원소(1, 2, 3)가 세로로 배열

• 행 벡터(1×N)

3차원, 원소(4, 5, 6)가 가로로 나열

• 전치(Transpose)
열 ↔ 행 벡터 변환을 수행.

• 특징 벡터(Feature Vector)
대상의 여러 특징(속성)을 하나의 벡터로 표현한 것
특징이 N개라면, 그 대상은 N차원 공간 상의 한 점으로 표현

Vector Space

벡터 공간(Vector Space)

벡터들의 집합
공간 안에서 벡터들 사이의 덧셈(벡터 + 벡터)과 스칼라 곱(스칼라 × 벡터)이 정의

유클리드 공간(Euclidean Space)

거리와 각도 개념이 정의된 벡터 공간
내적을 통해 벡터 간의 각도와 길이(norm,∥v∥)를 정의할 수 있음

Vector Addition and Subtraction

벡터 덧셈 : 각 좌표끼리 더해 새로운 벡터를 얻는 연산
벡터 뺄셈 역시 각 좌표끼리 빼서 얻음.

Properties of Vector Addition

• 교환법칙(Commutative)
  a+b=b+a

• 결합법칙(Associative)
  (a+b)+c=a+(b+c)

• 항등원(Identity Element)
  a+0=0+a=a
  0 (Zero Vector)는 덧셈에 대한 항등원

• 역원(Inverse Element)
  a+(−a)=0
  각 벡터 a에 대해, −a (음수 벡터)가 존재해 a와 더하면 영벡터가 됨

Scalar-Vector Multiplication

스칼라(실수) β와 n차원 벡터 a=(a1,a2,…,an)의 곱 :

벡터의 각 성분에 스칼라를 곱하는 형태

Properties of Scalar-Vector Multiplication

β,γ는 스칼라(실수)
a,b는 벡터

• 결합법칙 (Associative)
  (βγ)a=β(γa)

• 분배법칙 (Distributivity)
  Left Distributive (스칼라의 덧셈에 대한 분배)
  (β+γ)a=βa+γa
  Right Distributive (벡터의 덧셈에 대한 분배)
  β(a+b)=βa+βb

Linear Combinations

어떤 벡터 공간에서 주어진
여러 벡터 a1,a2,…,am 과 스칼라 β1,β2,…,βm가 있을 때,

벡터 x는 a1,a2,…,am 의 선형 결합
β1,β2,…,βm는 계수로, 각 벡터 a_i에 곱해지는 스칼라 값

Inner Product

벡터 공간에서 두 벡터를 받아 스칼라(실수)를 반환하는 연산

⟨a,b⟩, a⋅b로도 표현

유클리드 내적의 기하학적 해석

∥a∥, ∥b∥는 벡터의 길이(norm), θ는 두 벡터 사이의 각도

Properties of Inner Product

• 교환법칙
  $\mathbf{a}^T \mathbf{b} = \mathbf{b}^T \mathbf{a}$

• 스칼라 곱의 선형성
  $(\gamma \mathbf{a})^T \mathbf{b} = \gamma \bigl(\mathbf{a}^T \mathbf{b}\bigr)$
  스칼라 γ를 벡터 a에 곱한 뒤 내적을 취하면, 내적 결과에서 스칼라를 뺄 수 있음

• 분배법칙
  $(\mathbf{a} + \mathbf{b})^T \mathbf{c} = \mathbf{a}^T \mathbf{c} + \mathbf{b}^T \mathbf{c}$
  벡터 a와 b를 더한 뒤 c와 내적을 취하는 것과,
  각각 c와 내적을 취한 뒤 더하는 것이 동일

Norm of Vector

Euclidean Norm

벡터 x=(x1,x2,…,xn)에 대해

벡터의 길이(크기)를 나타내며, 2차원이나 3차원 공간에서의 거리와 같음

Unit Vector

길이(norm)가 1인 벡터, ∥u∥=1
방향만을 나타내는 벡터로, 크기(길이)는 1로 고정

주어진 벡터 v의 단위 벡터 구하기

v의 단위 벡터 u는 v를 그 길이(∥v∥)로 나누어 크기를 1로 만듦

Orthogonal Projection(직교 투영)

어떤 벡터 y를 벡터 x의 방향으로 투영
= y에서 x 방향 성분만을 추출하는 것 (y의 x 방향 성분 벡터)

$u_x$ : x의 단위벡터 , θ : y와 x 사이의 각도

ex. x=(4,3), y=(2,4)

Orthogonal(직교)

두 벡터 x와 y에 대해, $\mathbf{x}^T \mathbf{y} = 0$

유클리드 공간에서 내적(x⋅y)이 0이라는 것은,
기하학적으로 “두 벡터가 서로 수직”임을 의미

Orthonormal(정규직교)

x와 y가 직교할 뿐 아니라, 각각의 길이(norm)가 1(∥x∥=1,∥y∥=1)
$\mathbf{x}^T \mathbf{y} = 0 \quad\text{and}\quad \|\mathbf{x}\| = \|\mathbf{y}\| = 1$

서로 수직이고(직교), 길이가 1(정규화)인 벡터들
→ “서로 다른 축”으로 해석

Linear Dependence(선형 종속)

벡터 집합 x={x1,x2,…,xN}에 대해 모두 0이 아닌 스칼라 계수 {a1,…,aN}가 존재하여 다음 식을 만족할 경우

한 벡터가 다른 벡터들의 선형결합으로 표현될 수 있음.

ex. $v_1$=(1,2), $v_2$=(2,4)
$v_2$=2$v_1$이므로 두 벡터는 선형종속

선형독립 (Linear Independence)

벡터 집합 x={x1,x2,…,xN}에 대해

이 성립하기 위해 반드시 a1=a2=⋯=aN=0 이어야 할 경우

Spanning Subspaces

Span

벡터 집합 {v1,…,vn} 내 벡터들의 모든 선형결합으로 이루어진 공간

선형결합의 결과가 벡터 공간 V 전체와 같다면 (V = span{v₁, …, vₙ})
{v₁,…,vₙ}이 V를 span(생성)한다고 표현

Basis of Vector Space

벡터 공간 V의 basis는 다음 두 가지 조건을 동시에 만족하는 벡터들의 집합 :

• 선형독립성(Independence)
  집합에 있는 벡터들 중 어느 하나도, 나머지 벡터들의 선형결합으로 표현할 수 없어야 함

• 생성성(Spanning property)
  이 벡터들만으로 V 안의 모든 벡터를 선형결합으로 만들 수 있어야 함

기저는 최소성과 충분성을 동시에 만족하는 벡터들의 집합

선형독립성(Independence) ↔ 최소성(Minimality)
벡터들이 선형독립이라면, 그중 어떤 벡터도 다른 벡터들의 조합으로 만들어낼 수 없음. 따라서 최소한의 집합이 됨.

스팬(생성) ↔ 충분성(Sufficiency)
어떤 집합이 벡터 공간을 스팬한다는 것은, 그 공간의 모든 벡터를 기저 벡터들의 선형결합으로 만들 수 있음. 즉, 공간을 전부 덮는 역할을 하므로 충분한 집합이 됨.

Matrix

숫자들을 직사각형 형태로 배열한 것
행렬의 크기는 (행의 개수) × (열의 개수)로 표기

Columns and Rows of a Matrix

A가 m×n 행렬이라고 할 때,
$A_{ij}$ 는 i번째 행(row), j번째 열(column)에 위치한 원소(Entry)

부분 행렬(Slice)

: 큰 행렬에서 특정 행과 열의 범위를 잘라(subset) 만든 더 작은 행렬

$A_{p:q,r:s}$는
행 인덱스를 p부터 q까지, 열 인덱스를 r부터 s까지 골라서 만든 부분 행렬

$A_{p:q,r:s}$의 크기 = (q−p+1)×(s−r+1)

Block Matrix

: 행렬의 각 원소가 또 다른 행렬인 형태로 구성된 행렬

B,C,D,E는 각각 작은 행렬(submatrix) → 블록(block)이라고 부름

블록 행렬의 구성 조건

• 블록 행(block row) 내의 모든 블록들은 같은 개수의 행을 가져야 함
• 블록 열(block column) 내의 모든 블록들은 같은 개수의 열을 가져야 함

Special Matrices

Square Matrix

행(row)의 개수와 열(column)의 개수가 같은 행렬
n×n 형태

Diagonal Matrix

주대각선(왼쪽 위에서 오른쪽 아래로 이어지는 대각선) 이외의
모든 원소가 0인 Square Matrix

Scalar Matrix

주대각선 원소가 같은 값을 갖고,
나머지(비대각) 원소들은 모두 0인 Square Matrix

Zero Matrix

모든 원소가 0인 행렬

Symmetric Matrix

자신의 전치 행렬(transpose)과 같은 행렬 → 대칭 행렬
$S=S^T$

Transpose

Transpose of a Matrix(전치 행렬)

행렬 A가 주어졌을 때, 행과 열을 서로 바꾼 행렬 = A의 전치 행렬 ($A^T$)
A가 m×n 행렬이었다면, $A^T$는 n×m 행렬

$($$A^T$$)_{ij}$=$A_{ji}$

Addition, Subtraction, and Scalar Multiplication

Addition/Subtraction

같은 크기(동일한 행과 열 수)를 가진 두 행렬 A와 B에 대해,
같은 위치의 원소끼리 더하거나 빼서 새 행렬을 구성

Scalar Multiplication

어떤 스칼라 α와 행렬 A를 곱할 때, 행렬의 모든 원소에 α를 곱해줌

Matrix Multiplication

행렬 A가 (M × D) 크기이고, 행렬 B가 (D × N) 크기라고 할 때,
A×B= (M × N) 크기의 새로운 행렬

Orthogonal (Orthonormal) Matrix

$A^T$$A$=$I$를 만족하는 Square Matrix
역행렬과 전치가 동일: $A^T$=$A^{-1}$

Trace (대각합)

Square Matrix A가 있을 때, 그 주대각선의 모든 원소를 더한 값

Determinant (행렬식)

square matrix A에 대해 정의되는 값

가역성(invertibility) 판단 :

• det(A)=0 이면 A는 non-singular(역행렬 존재).
• det(A)≠0 이면 A는 singular(역행렬 없음).

Inverse (역행렬)

square matrix A에 대해, $A^{-1}$$A$=$I$를 만족하는 행렬 $A^{-1}$

존재 조건 : det(A)≠0인 square matrix

A 2×2 행렬인 경우,

Eigenvalue and Eigenvector

square matrix A가 있을 때,
0이 아닌 벡터 x와 스칼라 λ에 대해 Ax=λx을 만족하면
λ를 행렬 A의 고유값(eigenvalue),
x를 λ에 대응하는 고유벡터(eigenvector)라고 함

Ax=λx
(A−λI)x=0
x=0 or (A−λI)=0
(A−λI)=0 → det(A−λI)=0

Linear Transformation (선형변환)

두 벡터 공간 $R^n$과 $R^m$ 간에 덧셈과 스칼라 곱을 보존하는 함수 $T$

• 덧셈 보존: T(u+v)=T(u)+T(v)
• 스칼라 곱 보존: T(cv)=cT(v)

$T$ : $R^n$→$R^m$일 때, 임의의 x∈R에 대해 T(x)는 $R^m$의 원소(벡터)