Least Square Method(최소자승법)의 이해와 그 풀이법인 Normal Equation

최소자승법이란?

최소 자승법이란 간단히 말해 Matrix Equation인 $Ax = b$의 해가 존재하지 않을 경우 제일 근사한 해를 찾는 과정이다.

아래와 같은 Matrix Equation인 $Ax = b$ 주어졌다고 하자

Matrix Equation은 A의 열벡터($a_1, a_2, a_3$)들의 $Span(a_1, a_2, a_3)$ 속에 $b$벡터가 존재해야 해($x$)가 존재한다 하지만 위같은 경우 해가 존재할 가능성이 매우 낮다.
따라서 이때 우리는 해를 구하지는 못하지만 그럼에도 최적의 해를 구하고 싶다면 오차가 제일 적은 해를 구해야 할것이다.
즉, ||$b - Ax$|| 가 최소가 되는 $x$를 찾으면된다.

최소자승법의 기하학적인 이해

아래의 그림을 통해 최소자승법의 기하학적인 의미를 알아보겠다.
출처:https://4.bp.blogspot.com

$Col A$(열공간):
행렬 $A$의 열벡터들의 선형 결합으로 $Span$된 부분공간

Matrix Equation인 $Ax = b$ 의 해가 존재하려면 벡터$b$가 행렬$A$의 열공간 안에 있어야하지만 Least Square Method같은 경우 위의 그림처럼 벡터 b가 행렬$A$의 열공간 밖에 있는것을 볼 수 있다.
이때 최적의 해를 $\hat{x}$라 한다면 $A\hat{x} = \hat{b}$ 이고 $\hat{b}$는 $A$의 열공간 벡터중에 $b$와의 거리가 가장 작은 벡터를 의미한다.
이때 $b - \hat{b}$는 열공간에 수직임을 기억하자.

최소 자승법의 풀이 Normal Equation

Matrix Equation인 $Ax = b$ 가 주어졌을때 최적의 해를 $\hat{x}$ 라 했을때 $b - A\hat{x}$ 은 $A$의 열공간과 수직이라 하였고 이를 수식으로 나타내면 다음과 같다.

이것을 풀면

위의 식을 Normal Equation이라고 부른다.
그리고, 행렬 $A^TA$의 역행렬이 존재한다면 다음과 같은 식을 통해 최적해인 $\hat{x}$를 구할 수 있다.

보통 A의 사이즈가 충분히 크면 A의 inverse matrix는 거의 존재한다.

결론은 아래와 같다. $P_A$는 $A$의 열공간으로의 projection matrix