행렬연산과 선형조합

행렬 A의 각 요소는 $a_{ij}$로 나타낸다.
$i$는 행, $j$는 열을 의미한다.

전치행렬(Transpose matrix)
$A$의 전치행렬 $A^T$는 $A$의 행을 열로, $A$의 열을 행으로 가지는 $n$ x $m$ 행렬이다.
$(A^T)_{ij} = (A)_{ji}$로 표현할 수 있다.

$A=\begin{vmatrix}a & b\\ c & d \\ e & f\end{vmatrix} A^T = \begin{vmatrix}a & c & e \\ b & d & f\end{vmatrix}$

영행렬(Zero matrix)
행렬의 모든 요소가 0인 행렬, $O$
$A + O = O + A = A$

정방행렬(Square matrix)
$n$ x $n$ 행렬로 행과 열의 개수가 모두 $n$인 정사각형 모양의 행렬
$a_{ii}(i = 1,2, .. , n)$를 행렬 $A_n$의 주대각선(Main diagonal)

항등행렬(Identity matrix)
주대각선이 1이고 나머지 요소는 모두 0인 n차 정방행렬

$I_n = \begin{vmatrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ \vdots & \vdots & & \vdots \\ 0 & 0 & \dots & 1 \\ \end{vmatrix}$

항등행렬은 숫자의 1과 같은 존재로 행렬곱에 대한 항등원 역할을 한다.

행렬의 곱
$m$ x $r$ 행렬 $A$와 $r$ X $n$ 행렬 $B$에서 두 행렬의 곱 $AB$는 $m$ X $n$ 행렬 C가 된다.
즉, $m$ x ($r$ x $r$) x $n$ 에서 $r$이 같은 차원이면 행렬곱을 수행할 수 있고 $r$ 성분이 사라진 $m$ x $n$ 행렬의 행렬곱이 된다.
여기서 두 행렬의 곱 $AB$로 정의된 행렬 $C$의 각 요소는 다음과 같다.
$c_{ij} = a_{i1}b_{1j} + a_{i2}b_{2j} + \dots +a_{ir}b_{rj}$

행렬 C의 각 요소 $c_{ij}$는 $A$의 $i$번째 행벡터와 $B$의 $j$번째 열벡터의 내적이다.
따라서, 두 행렬의 곱 $AB$에 대해 $A$의 열 개수와 $B$의 행 개수는 일치해야 한다.
교환법칙이 성립하지 않는다. $AB \neq BA$
행렬의 곱은 병렬처리로 가속할 수 있다.

---

텐서(tensor)는 스칼라, 벡터, 행렬을 아우르는 개념이다.
숫자가 늘어설 수 잇는 방향이 $k$개면 $k$-텐서로 부른다.

0- 텐서 : 스칼라
1- 텐서 : 벡터
2- 텐서 : 행렬

T의 각 요소가 벡터라면 T는 3-텐서로 볼 수 있다.
$T = \begin{vmatrix}V & V & V & V \\V & V & V & V \\V & V & V & V \\V & V & V & V \\\end{vmatrix}$

3-텐서의 대표적인 예는 컬러영상이다.
V가 3-벡터이면 RGB 영상, 4-벡터이면 RGBA 영상이다.

분할행렬(Partitioned Matrix)
행렬을 조각 단위로 분할하여 부분행렬로 이루어진 구조로 보는 방법

행렬은 열벡터의 리스트로 볼 수 있다.
$m$ x $n$ 행렬은 $m$-벡터가 $n$개 있다고 해석할 수 있다.

$Ax = \begin{vmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \\ \end{vmatrix}\begin{vmatrix}x_1\\x_2\\\vdots\\x_n\end{vmatrix} = \begin{vmatrix}a_1 & a_2 & \dots & a_n\end{vmatrix} \begin{vmatrix}x_1\\x_2\\\vdots\\x_n\end{vmatrix}$

선형대수에서는 이처럼 벡터들에 대한 가중치의 합을 선형조합(linear combination)이라고 한다.

$x_1\begin{vmatrix}-1\\1\\0\end{vmatrix}+x_2\begin{vmatrix}3\\2\\0\end{vmatrix}+x_3\begin{vmatrix}2\\-3\\0\end{vmatrix} = \begin{vmatrix}1\\-9\\-3\end{vmatrix}$

행렬 $A$의 열벡터들에 대한 가능한 모든 선형조합의 결과
$col(A)$

선형시스템 $Ax=b$가 해를 가지면
$b \in col(A)$

선형시스템 $Ax=b$가 해가 없으면
$b \notin col(A)$