[Programmers] 32. 인공지능 수학 기초 (5): 선형대수 (Linear Algebra) (5): 벡터의 투영/사영, 직교 행렬, QR 분해

illstandtall·2021년 5월 1일

Programmers dev course

목록 보기

32/34

오류에 대한 지적이나 질문, 토의 환영합니다. 자유롭게 댓글 남겨주세요!.!

$n-$ 벡터는 크기와 방향을 가진 물리량을 말합니다.
좌표계 없이: $u\cdot v = |u||v|cos\theta$
좌표계 에서: $u\cdot v = u_{1} \cdot v_{1} + u_{2} \cdot v_{2} + ... + u_{n} \cdot v_{n}$
두 벡터의 내적이 0이면 두 벡터는 직교(Orthogonal: $\perp$ )합니다.
- 물리적 의미:
  $u$ 와 $v$ 가 직교일 때, $u$ 방향으로의 전진은 $v$ 방향에서 전혀 측정되지 않는다는 의미를 가집니다.

벡터 $u$ 를 벡터 $a$ 위에 투영한 결과:

$proj_{a}u = (\frac{u \cdot a}{|a|})( \frac{1}{|a|}a) = (\frac{u \cdot a}{|a|^2}a)$
=> $\frac{u \cdot a}{|a|^2}$ : 크기(기저 $a$ 에 대한 좌표값), $a$ : 방향
벡터 $u$ 를 벡터 $a$ 위에 투영하고 남은 보완벡터(complement vector):

$u - proj_{a}u$
투영과 보완벡터는 서로 직교이다.

$proj_{a}u \perp (u - proj_{a}u)$

직교 좌표계에 대한 행렬 표현입니다.
직교 행렬 (orthogonal matrix)
- 주어진 행렬의 모든 열벡터가 서로 직교하는 경우입니다.
- 직교행렬은 직교 좌표계를 의미합니다.
  - $\left[\begin{matrix}1 \ \ 4\\ -2\ \ 2\end{matrix}\right], \left[\begin{matrix}2 \ \ \ 2 \ -4 \\ 2\ \ \ \ 1\ \ \ \ \ 7 \\ 6 \ -1 \ -1\end{matrix}\right]$
정규 직교 행렬 (orthonormal matrix)
- 주어진 행렬이 직교 행렬이고 모든 열벡터의 크기가 1인 행렬을 말합니다.
- 회전행렬이라고도 합니다.
  - $\left[\begin{matrix} \frac{1}{\sqrt{5}} \ \frac{2}{\sqrt{5}} \ \\ -\frac{2}{\sqrt{5}}\ \ \frac{1}{\sqrt{5}}\end{matrix}\right], \left[\begin{matrix}\frac{1}{\sqrt{11}} \ \ \ \frac{2}{\sqrt{6}} \ -\frac{4}{\sqrt{66}} \\ \frac{1}{\sqrt{11}}\ \ \ \ \frac{1}{\sqrt{6}}\ \ \ \ \ \frac{7}{\sqrt{66}} \\ \frac{3}{\sqrt{11}} \ -\frac{1}{\sqrt{6}} \ -\frac{1}{\sqrt{66}}\end{matrix}\right]$

선형시스템 $Ax = b$ 에서 행렬 $A$ 가 직교행렬이면, 해 $x$ 는 역행렬의 계산 없이 구할 수 있습니다.
$x$ 의 $i-$ 번째 요소는 투영으로 계산할 수 있습니다.
즉, 벡터 $b$ 를 행렬 $A$ 의 각 열벡터 $a_{i}$ 에 투영한 연산 $proj_{a_{i}}b$ 로 부터 $x_{i} = \frac{b \cdot a_{i}}{|a|^2}$ 알 수 있습니다.
$x$ 의 $i-$ 번째 요소와 $j-$ 번째 요소의 계산은 독립적이므로 $x$ 의 계산을 병렬로 처리할 수 있습니다.
예제) $Ax = b$
$\left[\begin{matrix} 1 \ \ 4 \\-2\ 2\end{matrix}\right]\left[\begin{matrix} x_{1} \\ x_{2}\end{matrix}\right] = \left[\begin{matrix} 6 \\ -2\end{matrix}\right]$ <=> $[a_{1}, a_{2}]x = b$
- $x_{1} = proj_{a_{1}}b$ = $\frac{a_{1} \cdot b}{|a_{1}|^2} \cdot a_{1} =\frac{\left[\begin{matrix} 1 \\ -2\end{matrix}\right] \cdot \left[\begin{matrix} 6 \\ -2\end{matrix}\right]}{1^2 + (-2)^2} = \frac{6+4}{5} = 2$
- $x_{2} = proj_{a_{2}}b$ = $\frac{a_{2} \cdot b}{|a_{2}|^2} \cdot a_{2} =\frac{\left[\begin{matrix} 4 \\ 2\end{matrix}\right] \cdot \left[\begin{matrix} 6 \\ -2\end{matrix}\right]}{4^2 + 2^2} = \frac{24-4}{20} = 1$

선형시스템 $Ax = b$ 에서 행렬 $A$ 가 정규직교행렬이면, 해 $x$ 는 역행렬의 계산 없이 구할 수 있습니다.
$x$ 의 $i-$ 번째 요소는 내적으로 계산할 수 있습니다.
즉, 벡터 $b$ 를 행렬 $A$ 의 각 열벡터 $a_{i}$ 에 투영한 연산 $proj_{a_{i}}b$ 로 부터 $x_{i} = b \cdot a_{i}$ 임을 계산할 수 있습니다.
$x$ 의 $i-$ 번째 요소와 $j-$ 번째 요소의 계산은 독립적이므로 $x$ 의 계산을 병렬로 처리할 수 있습니다.
예제) $Ax = b$
$\left[\begin{matrix} \frac{1}{\sqrt{5}} \ \frac{2}{\sqrt{5}} \ \\ -\frac{2}{\sqrt{5}}\ \ \frac{1}{\sqrt{5}}\end{matrix}\right]\left[\begin{matrix} x_{1} \\ x_{2}\end{matrix}\right] = \left[\begin{matrix} 6 \\ -2\end{matrix}\right]$ <=> $[a_{1}, a_{2}]x = b$
- $x_{1} = proj_{a_{1}}b$ = $a_{1} \cdot b =\left[\begin{matrix} \frac{1}{\sqrt{5}} \\ -\frac{2}{\sqrt{5}}\end{matrix}\right] \cdot \left[\begin{matrix} 6 \\ -2\end{matrix}\right] = \frac{6+4}{\sqrt{5}} = 2\sqrt{5}$
- $x_{2} = proj_{a_{2}}b$ = $a_{2} \cdot b =\left[\begin{matrix} \frac{2}{\sqrt{5}} \\ \frac{1}{\sqrt{5}}\end{matrix}\right] \cdot \left[\begin{matrix} 6 \\ -2\end{matrix}\right] = \frac{12-2}{\sqrt{5}} = 2\sqrt{5}$

그람슈미트 과정을 행렬로 코드화한 것입니다.
주어진 행렬에서 정규직교행렬을 추출하는 행렬 분해입니다.
행렬 $A$ 를 $QR$ 의 꼴로 변형시키는 분해입니다.
- $A$ = $Q$ (Orthonormal matrix) $\times R$ (Upper triangular matrix)
QR 분해의 장점

$Ax = b$ <=> $(QR)x = b$ $<=>$
=> $Q(Rx) = b$ => $Rx$ : 내적으로 쉽게 계산 가능
=> $Qy = b \ (단, Rx = y)$ => $Qy$ : 후방 대치법으로 쉽게 계산 가능