Vector & Matrix

Vector

Definition

Elements of $\mathbb{R}$ (tuples of n real numbers)

스칼라 값($a$)들의 묶음

Notation

$\vec{\mathbf{a}} \equiv \mathbf{a}= \begin{bmatrix} a_1\\ a_2\\ \cdots\\ a_{n-1}\\ a_n\\ \end{bmatrix} \in \Bbb{R}^n$

표현 : lowercase letter(소문자) + bold
n : element의 개수

Operations with Vector

• Vector Summation

덧셈

• Scalar Multiplication

Scalar 값을 모든 element에 곱한다 ($\lambda \in \mathbb{R}$)

$\lambda\mathbf{a} = \lambda \begin{bmatrix} a_1\\ a_2\\ \cdots\\ a_n\\ a_n\\ \end{bmatrix} = \begin{bmatrix} \lambda a_1\\ \lambda a_2\\ \cdots\\ \lambda a_{n-1}\\ \lambda a_n\\ \end{bmatrix} \in \mathbb{R^n}$

기존의 입력된 벡터의 사이즈가 그대로 유지 된다.

Matrix

Definition

Elements of $\mathbb{R^{m\times n}}$ (tuples of n real numbers with 2 dimensions)

Notation

$\mathit{A}=\begin{bmatrix} a_{11} & a_{12} & \cdots & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots & \cdots\\ a_{m1} & a_{m2} & \cdots & \cdots & a_{nn}\\ \end{bmatrix} \in \mathbb{R^{m\times n}}$

표현 : Uppercase letter(대문자) + bold
해석 : $a_{12}$ -> (1,2)

Operations with Matrix

• Matrix Addition
  덧셈
• Matrix Multiplication
  Multiply and sum for every row and column

$\mathbf{A} \in \mathbb{R^{n\times h}}, \mathbf{B} \in \mathbb{R^{h\times m}}$
$\mathbf{AB} = \mathbf{C} \in \mathbb{R^{n\times m}}$
$\mathbf{AB} \neq\mathbf{BA}$

Identity Matrix

Definition

In $\mathbb{R^{n\times n}}$, containing 1 on the diagonal and others are all '0'

Diagonal : $a_{ij} = 1,$ (only $i=j$)

Properties

$\mathbf{I_m}\mathbf{A}=\mathbf{AI_n}=\mathbf{A}$ ($\mathbf{I_m} = m\times m$ 행렬)

Solving linear equations by using vector & matirx

Systems of Linear Equations

• $a_{11}x_1 + \cdots+a_{1n}x_n = b_1$
• $\cdots$
• $a_{m1}x_1 + \cdots+a_{mn}x_n = b_m$
  x : unknown, a : user parameter, : result

해석 : 사용자가 a를 바꿔가며 b라는 결과가 나올 때 x는 미지수임.

Linear Equations to Vectors

$\begin{bmatrix} a_{11}\\ \cdots\\ a_{m1}\\ \end{bmatrix}x_1+\begin{bmatrix} a_{12}\\ \cdots\\ a_{m2}\\ \end{bmatrix}x_2+\cdots+\begin{bmatrix} a_{1n}\\ \cdots\\ a_{mn}\\ \end{bmatrix}x_n= \begin{bmatrix} b_1\\ \cdots\\ b_m\\ \end{bmatrix} \in \mathbb{R^n}$

Linear Equations to Vector & Matrix

• $\mathit{A}=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ \cdots & \cdots & \cdots & \cdots\\ a_{m1} & a_{m2} &\cdots & a_{nn}\\ \end{bmatrix}=\begin{bmatrix} b_1\\ \cdots\\ b_m\\ \end{bmatrix}$

• $\mathbf{Ax=b}$

의의 : 복잡한 Linear equation을 단 3개의 variable로 표현할 수 있게 된다.

Operations for Matrix - Inverse

Square matrix에 대해,
A가 B의 Inverse matrix라고 한다면
$\mathbf{AB = I_n = BA}$
Notation $\mathbf{A^{-1}=B}$

• iff Inverse matrix가 있다면, Regular / Invertible / Nonsingular하다고 표현.
• 역행렬의 간단한 표현식은 구글에서 찾아 볼 것.

Operations for Matrix - Transpose

$\mathbf{A \in \mathbb{R^{m\times n}}}$ 에 대하여, $\mathbf{B \in \mathbb{R^{n\times m}}}$이라면 B를 A의 Transpose라고 한다.

Notation : $\mathbf{B=A^T}$

이 때 $b_{ij}=a_{ji}$ 이다.
i.e.)

$\mathbf{A}=\begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \\ a_{31} & a_{32} \\ \end{bmatrix} \in \mathbb{R^{3\times 2}}$

$\mathbf{A^T=B}=\begin{bmatrix} a_{11} & a_{21} & a_{31} \\ a_{12} & a_{22} & a_{32}\\ \end{bmatrix} \in \mathbb{R^{2\times 3}}$

Operations for Matrix - Properties

$AA^{-1}=I=A^{-1}A$
$(AB)^{-1}=B^{-1}A^{-1}$
$(A+B)^{-1} \neq A^{-1}+B^{-1}$
$(A^T)^T=A$
$(A+B)^T=A^T+B^T$
$(AB)^T=B^TA^T$

Operations for Matrix - Symmetric Matrix

• $A=A^T$ 라면, $A$는 Symmetric하다
• Transpose 하면 사이즈가 바뀔 수 있기 때문에 위의 조건이 나온 것
• 그 결과 오직 square matrix만 symmetric할 수 있다.
• symmetric matrices의 합은 여전히 symmetric하다. [$(A+B)^T=A^T+B^T$]

Solving Linear Equations

• Particular Solution
  해 (특정한 값)

i.e)
if Ax = b,
$\begin{bmatrix} 1 & 0 & 8 & -4\\ 0 & 1 & 2 & 12\end{bmatrix}\begin{bmatrix} x_1\\ x_2\\ x_3\\ x_4\end{bmatrix}=\begin{bmatrix} 42\\ 8\end{bmatrix}$

$\therefore \mathbf{x}=\begin{bmatrix} 42\\ 8\\ 0\\ 0\end{bmatrix} \blacktriangleright Particular Solution$

• General Solution
  시스템을 성립시키는 모든 해를 수식의 형태로 표시한 것.
  #unknowns > #equations

$\mathbf{x}=\begin{bmatrix} 42\\ 8\\ 0\\ 0\end{bmatrix} +\lambda_1\begin{bmatrix} 8\\ 2\\ -1\\ 0\end{bmatrix}+\lambda_2\begin{bmatrix} -4\\ 12\\ 0\\ -1\end{bmatrix} (\lambda_1,\lambda_2 \in \mathbb{R})$

Elementary transforamation of matrix

• 주어진 equation system을 우리가 풀어주기 쉬운 형태로 변형시키는 과정 즉, 간단한 수식으로 변형시켜 주는 것. $\mathbf{Ax=b} \rightarrow \mathbf{A^{'}x=b^{'}}$
• 변형을 해도 해는 동일해야 함. 해가 달라진다면 잘못 계산한 것.

i.e)
1. 두 식의 순서를 바꾼다.(row 변형)

개념

$\begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \Rightarrow \begin{bmatrix} a_{21} & a_{22} \\ a_{11} & a_{12} \end{bmatrix}$

b도 위치 변형시켜줘야 한다.

표현 예시

$Ax=b \rightarrow E_1Ax=E_1b$

$E_1 = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 1 \\0 & 1 & 0\end{bmatrix}$

2번째, 3번째의 equation 순서를 뒤집는다.

$\\$
2. 수식에 스칼라 값을 곱한다.

개념

$\begin{bmatrix} \lambda a_{11} & \lambda a_{12} \\ a_{21} & a_{22} \end{bmatrix} \Rightarrow \begin{bmatrix} \lambda a_{11} & \lambda a_{12} \\ a_{21} & a_{22} \end{bmatrix}$

b도 $\lambda$ 곱해줘야 한다.

표현 예시

$Ax=b \rightarrow E_2Ax=E_2b$

Constant를 곱해주는 Equation 순서에 해당되는 곳에만 $\lambda$ 를 둔다.

$E_2 = \begin{bmatrix} \lambda & 0 & 0 \\ 0 & 1 & 0 \\0 & 0 & 1\end{bmatrix}$

$\\$
3. 두식을 더한다 (row 합성)

개념
두 식을 더하는 것을 매트릭스로 표현한다. $E_3$를 곱해서 전개해보면 알 수 있다.

표현 예시
$Ax=b \rightarrow E_3Ax=E_3b$

$E_3 = \begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}$

Row-Echelon Form

Definition

• All rows that contain only zeros are at the bottom of the matrix
• We can obtain R-E form by using the elementary transformations

로우 애슐런 폼은 이후 과정에서도 꾸준히 나오는 계산 기법 중 하나이다. "0만 포함하는 row는 매트릭스의 가장 아래에 위치하고 있다"고 표현하는데, 사실 글만으로는 이해가 안 될 수 있다.

정확한 방식인지는 모르겠으나, 이렇게 한 번 이해 해보면 쉬울 것 같다.

$\begin{bmatrix} 1 & 0 & 0 & 1 & 2\\0 & 0 & 1 & 2 & 3\\0 & 0 & 0 & 0 & 3 \end{bmatrix}$

Pivot

• First nonzero number from the left at each row

• R-E form으로 매트릭스가 변형이 된다면, Row의 element 중에서 가장 먼저 0이 아닌 값이 나오는 경우가 있다. 그 값을 pivot이라고 한다.

• Basic Variables : R-E form에서 pivot이 존재하는 column에 대응되는(곱해지는) variable($x_1,x_3,x_5)$을 의미한다.

• Freee Variables : 나머지 Varialbes

$\begin{bmatrix} 1 & 0 & 0 & 1 & 2\\0 & 0 & 1 & 2 & 3\\0 & 0 & 0 & 0 & 3 \end{bmatrix} \begin{bmatrix} \mathbf{x_1}\\x_2\\\mathbf{x_3}\\x_4\\\mathbf{x_5}\\\end{bmatrix}$

Reduced Row-Echelon Form

Definition

• R-E form을 간소화 시킨 버전이다.
• 모든 pivot은 1로 만들어야 한다.
• pivot은 자기가 포함된 column 내에서 유일한 nonzero값인 형태여야 한다.

$\begin{bmatrix} \mathbf{1}&2&0&3&0\\0&0&\mathbf{1}&4&0\\0&0&0&0&\mathbf{1}\\\end{bmatrix}$

Necessity

• Non-Pivot column들을 쉽게 찾을 수 있다.
  i.e)
• General Solution을 쉽게 찾을 수 있다.

해당 방법에 대해서는 필요시 찾아보길 바란다.

Gaussian Elimination

Elementary transformation을 반복하여 reduced row-echelon form을 얻는 알고리즘을 의미한다.

Calculation of Inverse Matrix

Gaussian Elimination을 이용하여 Inverse Matrix를 구하는 것이 중요하다.

• 만약 매트릭스에 determinant가 존재한다면, Inverse Matrix도 존재한다.

• A 매트릭스의 Inverse matrix를 계산하고싶다면, A 매트릭스에 $\mathbf{I}$를 붙여 놓고, Gaussian elimination을 사용하여 A 매트릭스 위치에 자리하는 A매트릭스를 $\mathbf{I}$로 만들어 버린다. 이 경우, 기존 $\mathbf{I}$자리의 $\mathbf{I}$는 $A^{-1}$로 변형된다.

• 흐름을 표현하자면,
  $[A|I_n] \rightarrow(Gaussian \ Elimination 적용)\rightarrow[I_n|A^{-1}]$

• 표현 예시
  

Moore-Penrose Pseudo-Inverse

• $Ax=b, A \in \mathbb{R^{m\times n}}$
  A가 Square matrix가 아닌 경우가 있을 수도 있다. 이 때의 Inver Matrix를 구하는 방법.

• $Ax=b \rightarrow A^TAx=A^Tb \rightarrow x=(A^TA)^{-1}A^Tb$

Moore-Penrose Pseudo-Inverse
$A^t \equiv (A^TA)^{-1}A^T$

• $(A^TA)^{-1}$는 square matrix가 된다.
• Moore-Penrose Pseudo-Inverse의 복잡한 형태가 그냥 square를 곱하는 것보다 계산에 더 안정성을 줄 수 있는 경우도 있다고 한다.