기저 함수 모델의 해석해를 구하는 증명을 해보자.

Keywords

1. Analytical Solution (해석해) - 정확한 해를 구함

2. Numerical Solution (수치해) - 근사치를 구함.

3. 기저 함수의 MSE

4. 해석해

5. D차원 선형 회귀 모델의 평균 제곱 오차 J의 해석해

Basis Function MSE

$J(w) = {1 \over N}\sum\limits_{n=0}^{N-1}(w^T\phi(x_n)-t_n)^2$

전처리로 1차원 데이터 $x_n$을 M차원 데이터 $x_n = \phi(x_n)$으로 변환 후, 선형 회귀모델을 적용한다.

가우스 기저함수의 모델의 MSE에 대한 해석해는,

$w = (\phi^T \phi)^{-1}\phi^Tt$가 된다.

t는 정답값

하나 의문이었던 점은, 일반 회귀에서 MSE를 구할때 파라미터 $w_n{+1}$와 $b_{n+1}$를 구하기 위해 경사하강법을 적용했다.

그렇다면 해석해는 특별한 과정없이, 위의 공식을 통해 곧바로 최적의 w를 구할수 있는것인가? 흐음... 거참 신기하구나 일단 해석해를 구하는 증명을 보자.

해석해 증명

$w = (\phi^T \phi)^{-1}\phi^Tt$ 증명과정은 아래와 같다.

게속..