📖 학습주제

머신러닝, Scikit-learn, 실전 머신러닝 문제 실습 (4)

---

선형회귀 모델

선형 기저 함수 모델

가장 단순한 형태의 선형모델

$\textbf{x}$에 대해 비선형 함수로 만들면

이 때, $\textbf{x}$에 대해 비선형인 함수 $\phi_j(\textbf{x})$를 기저함수(basis function)라고 한다.

• 다항식(polynomial) 기저함수 : $\phi_j(x)=x^j$

• 가우시안 기저함수 : $\phi_j(x)=exp\lbrace {-{(x-\mu_j)^2\over2s^2}} \rbrace$

• 시그모이드(sigmoid) 기저함수 : $\phi_j(x)=\sigma({x-\mu_j\over s})$ (이 때, $\sigma(\alpha)={1\over 1+exp(-\alpha)}$)

최대우도와 최소제곱법

에러함수가 가우시안 노이즈를 가정할 때 최대우도로부터 유도될 수 있다.

proof

• $y(\textbf{x,w})$ : 결정론적(deterministic) 함수
• $\epsilon$ : 가우시안 분포 $\mathcal{N}(\epsilon|0,\beta^{-1})$를 따르는 노이즈 확률변수

따라서 $t$의 분포는

결정이론에 의해 제곱합이 손실함수로 쓰이는 경우, 새로운 $\textbf{x}$가 주어졌을 때 $t$의 최적의 예측값은 $t$의 조건부 기댓값이다. $t$가 위의 분포를 따를 때, 조건부 기댓값은 다음과 같다.

파라미터인 $\textbf{w}$를 찾기 위해 최대우도추정법을 이용한다.

• 입력값 : $X=\textbf{x}_1,\textbf{x}_2, \cdots, \textbf{x}_N$
• 출력값 : $\textbf{t}=t_1,t_2,\cdots, t_N$

우도함수가

로그 우도함수가

따라서, 로그 우도함수를 최대화시키는 $\textbf{w}$값은 $E_D(\textbf{w})$로 주어진 제곱합 에러함수를 최소화시키는 값과 동일하다.




$\textbf{w}$에 대한 $gradient\;vector$는

따라서 $\textbf{w}$의 최적값은

이고 위 식을 normal equations라고 부른다.

proof

$||\Phi\textbf{w}-\textbf{t}||_2^2=(\Phi\textbf{w}-\textbf{t})^T(\Phi\textbf{w}-\textbf{t})$ 를 최소화 하는 $\textbf{w}$를 찾는다.

$(\Phi\textbf{w}-\textbf{t})^T(\Phi\textbf{w}-\textbf{t})=(\textbf{w}^T\Phi^T-\textbf{t}^T)(\Phi\textbf{w}-\textbf{t})\\\quad\quad\quad\quad\quad\quad\quad\quad\;\;\;=\textbf{w}^T\Phi^T\Phi\textbf{w}-\textbf{t}^T\Phi\textbf{w}-\textbf{w}^T\Phi^T\textbf{t}+\textbf{t}^T\textbf{t}\\\quad\quad\quad\quad\quad\quad\quad\quad\;\;\;=\textbf{w}^T\Phi^T\Phi\textbf{w}-2\textbf{t}^T\Phi\textbf{w}-\textbf{t}^T\textbf{t}\\{}\\\nabla_\textbf{w}||\Phi\textbf{w}-\textbf{t}||_2^2=2\Phi^T\Phi\textbf{w}-2\Phi^T\textbf{t}\\\Phi^T\Phi\textbf{w}=\Phi^T\textbf{t}\\\textbf{w}_{ML}=(\Phi^T\Phi)^{-1}\Phi^T\textbf{t}$

편향 파라미터(bias parameter) $w_0$

$E_D(\textbf{w})= {1 \over 2}\displaystyle\sum_{n=1}^N \lbrace {t_n-w_0-\displaystyle\sum_{j=1}^{M-1} w_j\phi_j(\textbf{x}_n)} \rbrace^2\\w_0=\bar{t}-\displaystyle\sum_{j=1}^{M-1} w_j\bar{\phi_j}=\bar{t}-\bar{\phi}^T\textbf{w}\\\bar{t}={1 \over N}\displaystyle\sum_{n=1}^N t_n,\quad\quad\bar{\phi}={1 \over N}\displaystyle\sum_{n=1}^N \phi_j(\textbf{x}_n)$

$\beta$의 최적값은

${1\over \beta_{ML}}={1 \over N}\displaystyle\sum_{n=1}^N \lbrace {t_n} -{\textbf{w}_{ML}}^T\phi(\textbf{x}_n)\rbrace^2$

온라인 학습 (Sequential Learning)

배치 학습

• 데이터 전체를 사용해서 모델 학습
• 데이터가 크면 계산량이 많음

온라인 학습

• 데이터 샘플 하나를 보고 모델을 업데이트
• 데이터가 큰 경우 또는 연속적으로 공급되는 데이터인 경우에 적합

규제화

목적 : 과적합 방지

가장 단순한 형태

최종적인 에러함수

$\textbf{w}$의 최적값

일반화된 규제화

편향-분산 분해 (Bias-Variance Decomposition)

모델이 과적합되는 현상에 대한 이론적 분석

제곱합 손실함수가 주어졌을 때의 최적 예측값

손실함수의 기댓값

제한된 데이터셋만 주어져 있기 때문에 $h(\textbf{x})$를 정확히 알 수는 없다. 대신 파라미터화 된 함수 y(\textbf{x},\textbf{w})를 사용해 최대한 손실함수의 기댓값을 최소화한다.

이는 $\displaystyle\int_{}^{} \lbrace {y(\textbf{x})-h(\textbf{x})} \rbrace^2 p(\textbf{x})\mathcal{d}\textbf{x}$을 최소화하는 $y$를 찾는 것과 같다.

베이지안 선형회귀

많은 머신러닝 방법들은 최대우도를 사용해 모델 파라미터를 학습하는데 이러한 모델은 과적합의 가능성이 높다. 이 문제에 대한 해법으로 제시되는 것이 베이지안 방법이다.

베이지안 방식의 핵심은 예측핪이 파라미터의 특정 $configuration$에만 의존하는 것이 아니라 모든 가능한 $configuration$을 종합해 예측하기 때문에 새로운 데이터가 들어왔을 때 더 안정적인 예측이 가능하다는 것이다.