Linear Regression

멋쟁이토마토·2023년 11월 13일

Machine Learning

목록 보기

1/4

Review - Linear Regression

model

일반적으로 parameter β를 추정하기 위한 학습데이터 집합 ( $x_1$ , $y_1$ ), ... ,( $x_N$ , $y_N$ )를 가짐
선형 회귀 모델은 inputs이 $X_1$ , ... , $X_p$ 일 때 $E(X|Y)$ 의 함수를 추정하는 것

Estimation

추정 방법은 RSS를 최소로 만드는 β를 구하는 것
( $X$ 는 $N * (p+1)$ matrix, β = ( $β_0$ , ... , $β_p$ $)^T$ , $y$ 는 $N$ vector )
📌 X가 p+1인 이유는 intercept까지 포함되기 때문
📌 p는 #feature, N은 #observation

❓만약 $X$ 가 선형 독립이 아니라서 $X$ 가 full rank가 아니라면
➡ $X^TX$ 가 singular이 되고, least squares coefficients $\widehat{β}$ 가 명확하게 정의되지 않을 수 있음.
➡ 특이값 분해(Singular Value Decomposition, SVD) 등의 기술 사용

Inference

📌 $\widehat{β}_j$ 와 $\widehat{σ}^2$ 은 통계적으로 독립

To test $H_0$ : $β_j = 0$ $(j = 0, ... , p$ )

$z_j = \frac{\widehat{β}_j}{\widehat{σ}\sqrt{v_{j+1}}}$ 사용 ( $v_j$ 는 ( $X^TX$ $)^{-1}$ 의 $j$ 번쨰 diagonal element)

Under $H_0$ , $v_j$ ~ $t_{N-p-1}$

$(1-\alpha)$ x 100% CI of $β_j$ : $\widehat{β}_j\pm$ $t_{\alpha/2,N-p-1}se(\widehat{β}_j)$

To test $H_0$ : $β_{p_0+1} = ... = β_{p_1} = 0$

use $F = \frac{(RSS_0 - RSS_1) / (p_1 - p_0)}{RSS_1/(N-p_1-1)}$

$RSS_1$ 는 $p_1+1$ 개의 파라미터를 갖는 큰 모델의 RSS이고, $RSS_0$ 는 $p_0+1$ 개의 파라미터를 갖는 작은 모델의 RSS임.
Under $H_0$ , $F$ ~ $F_{p_1-p_0,N-p_1-1}$

✔ F distribution은 $x^2$ 2개의 ratio로 이루어짐
$x^2$ > 0 ➡ F distribution도 항상 > 0 ➡ $RSS_0 - RSS_1 > 0$

❓왜 항상 $RSS_0$ 이 $RSS_1$ 보다 클까

➡ $RSS_0$ 은 simple model, $RSS_1$ 은 complex model로 $RSS_1$ 에서 일부 parameter를 0으로 둔 것이 $RSS_0$ 이 됨.
➡ simple model의 RSS > complex model의 RSS

The Gauss-Markov Theorem

parameter β에 대한 least squares estimate(최소 제곱 추정치)는 모든 linear unbiased estimates 중에서 분산이 가장 작은 값임

biased estimator에 더 작은 MSE(Mean Squared Error)가 존재할 수 있음
➡ 약간의 bias를 감수하고 variance의 큰 감소시키는 효과를 가질 수 있음
➡ least squares coefficients의 일부를 줄이거나 0로 설정하여 biased estiamte로 만들 수 있음. (variable selection & ridge regression)

💡 쉽게 말하면, bias가 없는 estimator(unbiased estimator) 중에 variance가 가장 작은 것을 찾는 것이 Gauss-Markov Theorem인데, bias가 있는 것 중(biased estimator)에 variance가 굉장히 작아서 총 MSE가 bias가 없는 것보다 더 작은 식이 있을 수 있음

➡ 우리는 작은 MSE를 찾는 것이 목표이기 때문에, bias가 있지만 variance가 작아서 총 MSE 값을 더 작게 가질 수 있다면, biased estimator를 선택할 수 있음.

Comparison of Linear regression with KNN

KNN은 Regression과 Classification 두 가지로 쓰이는데, 이 부분에서는 Regression 측면에서만 보도록 하겠음

KNN regression

$N_0$ : $x_0$ 와 가까운 $K$ 개의 training observation

c.f. KNN Classifier

$N$	$x_1$	$x_2$	$y$
1			A
...	...	...	B
...	...	...	O
100	...	...	A

간단하게 예시를 들자면, $x_i$ 와 가까운 k개의 데이터를 찾는 것
$\frac{1}{K}$ $\displaystyle\sum_{i\subset N_0}$ $I(y_i = A)$ ➡ A형과 비교 ➡ A형인 observation 수 / k
와 같이 B형, O형, AB형 모두 구한 뒤, 가장 큰 확률이 나오는 class로 분류