Gram-Schmidt Orthogonalization

그람슈미츠는 임의의 벡터들로 orthogonal한 벡터들을 구하는 과정입니다.

임의의 다른 벡터 4개가 존재한다고 가정하겠습니다.(Linear independent, non-orthogonal)

$a_1, a_2, a_3, a_4$ 전부 independent하다면 4차원을 전부 span하게 됩니다.

$a_1$,$a_2$ 둘 중 하나를 잡고 projection하면 됩니다.
$a_1$을 $v_1$으로 잡고 $a_2$를$v_1$에 proj시킨다면 먼저 $v_1$의 unit-vector를 구해야합니다.

지금 저희가 구하는 값은 $v_2$입니다. $v_2$는 $v_1$에 orthogonal한 벡터입니다.

$a_3$는 least squares 생각하면 되겠네요!
한 평면 위에 평면 밖으로 튀어나온 벡터($a_3$)를 직교하는 값을 찾는 것이니 생략하겠습니다.

oorthogonal=직교 90도의각을 이루는 것을 말하고
orthonormal= orthogonal + norm 이 합쳐진 것 -> 서로 직교하며 norm이 1인 것을 의미합니다

QR-factorization

Q = orthogonal matrix
R = upper triangular matrix

$[a_1, a_2,a_3]$=> rank=3, orthonormalize -> $q_1,q_2,q_3$(gram-schmidt)
$a_1= a^T_1q_1\cdot q_1$
$a_2= a^T_2q_1\cdot q_1 + a^T_2q_2\cdot q_2$
$a_3= a^T_3q_1\cdot q_1 + a^T_3q_2\cdot q_2 + a^T_3q_3\cdot q_3$

$\begin{bmatrix} a_1 & a_2 & a_3 \end{bmatrix}$ = $\begin{bmatrix} q_1 & q_2 & q_3 \end{bmatrix}$$\begin{bmatrix} a^T_1q_1 & a^T_2q_1 & a^T_3q_1\\0 & a^T_2q_2 & a^T_3q_2\\0 & 0 & a^T_3q_3 \end{bmatrix}$

빨간색이 Q
보라색이 R