Linear Regression

Introduction

반응 변수 (response variable, 종속 변수) $y$는 설명 변수 (predictor variables, 독립 변수) $x_1, x_2, \cdots, x_p$의 함수로 모형화, 모델링한다. 다중 선형회귀 모델은 다음과 같이 표현된다.

이때, 관츨할 수 없는 오차항 $\varepsilon_i$는 $N(0,\sigma^2)$인 정규분포를 따른다고 가정한다.

• 오차항 $\varepsilon$의 제곱의 합 $Q$는 다음과 같이 표현할 수 있다.
  $Q=\sum_{i=1}^N\varepsilon_i^2=\sum_{i=1}^{N}(y_i-(\beta_0+\beta_1x_{1i}+\cdots+\beta_px_{pi}))^2$
• 독립 변수와 종속 변수의 관계를 잘 설명하기 위해서는 $Q$ 값을 최소화해야 한다. 관측값과 모델이 예측한 값의 차이(잔차) 제곱합을 가장 작게 만드는 파라미터를 선택하여, 그 파라미터로 모형을 추정하는 방법을 최소제곱추정(Least Square Estimation)이라고 한다. $p+1$개의 정규 방정식을 풀어야 한다.
  $\frac{\partial Q}{\partial\beta_0}=-\sum_{i=1}^n2\varepsilon_i=0$
  $\frac{\partial Q}{\partial\beta_j}=-\sum_{i=1}^n2x_{ji}\varepsilon_i=0, \quad\text{for }j=1,2,\dots,p.$

Matrix Notation of Multiple Linear Regression

데이터 포인트(관측치)가 아래와 같다고 할 때, 행렬로 표기할 수 있다.

$\varepsilon$이 정규분포 $N(0,\sigma^2I_n)$을 따를 때 다음과 같이 표현할 수 있다.

• $\beta$의 최소제곱 추정값이 $\hat\beta$일 때 $\hat{y}=\mathbf{X}\hat\beta$이다.
• 행렬 표기에 따라 오차항의 제곱합은 $Q=\sum(y_i-\mathbf{x}_i^T\beta)^2$으로 나타낼 수 있으며 $\mathbf{x}_i^T=(1,x_{1i},x_{2i},\dots,x_{pi})$이다.
  • $Q=(y-\mathbf{X}\beta)^T(y-\mathbf{X}\beta)=y^Ty-2\beta^T\mathbf{X}^Ty+\beta^T\mathbf{X}^T\mathbf{X}\beta$
  • $Q$를 미분하면 $\beta$의 최소제곱 추정치가 유도된다.
    $\hat\beta=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^Ty$

The statistical properties of LSE

앞서 유도된 $\beta$의 최소제곱추정치에서 $y$에 $\mathbf{X}\beta+\epsilon$을 대입하면 아래 식이 유도된다.

이때 $\epsilon$은 정규분포를 따르므로 다음이 성립한다.

• $E[\hat\beta]=\beta+E[(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\epsilon]=\beta$
• $Var(\hat\beta)=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^TVar(\epsilon)((\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T)^T=\sigma^2(\mathbf{X}^T\mathbf{X})^{-1}$
  • $\hat\beta$의 분산은 모델의 독립 변수 $\mathbf{X}$에 의해 결정되며, $y$와는 무관하다.
• $\hat\beta\sim N(\beta, \sigma^2(\mathbf{X}^T\mathbf{X})^{-1})$

Deriving parameters for Simple Linear Regression

$y_i=\beta_0+\beta_1x_i+\varepsilon_i$인 단순한 선형회귀 문제에서 다음을 가정하고 $\hat\beta_0, \hat\beta_1$을 유도한다.

• $\mathbf{X}^Ty=\begin{pmatrix} \sum y_i \\ \sum x_iy_i \end{pmatrix}$
• $\hat\beta_1=\frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{\sum(x_i-\bar{x})^2}$, 즉 $x, y$의 공분산을 $x$의 분산으로 나눈 것
• $\hat\beta_0=\bar{y}-\hat\beta_1\bar{x}$

Variance of the Residual

$\hat{y}=\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^Ty=\mathbf{H}Y$로 표현해보자.

이때, $\mathbf{H}$는 hat matrix이다.
잔차 행렬 $\mathbf{e}=y-\hat{y}$로 표현했을 때 $e=(\mathbf{I}-\mathbf{H})y$이다. $\mathbf{H}$와 $1-\mathbf{H}$는 대칭이며 $\mathbf{H}^2=\mathbf{H}$인 idempotent matrix이다.

이를 활용하여 잔차 행렬의 분산을 구할 수 있다.

또한 잔차제곱합의 기댓값 $E(\mathbf{e}^T\mathbf{e})$는 다음과 같이 계산된다.

• 단순선형회귀 모델에서는 기울기 하나 ($p=1$), 절편 하나까지 포함하여 모수가 2개이므로 자유도는 $n-2$이다.
• idempotent 성질 덕분에 식이 단순해지고 자유도 $n-2$가 자연스럽게 도출된다.

Fitted Values and Residuals

선형회귀 모델은 다음과 같이 표현된다.

Analysis of Variance Results

1. Sum of Squares Total: 관측값에서 관측값의 평균을 뺀 것
   • $\sum(y_i-\bar{y})^2$
2. Sum of Squares Error: 잔차 제곱합
   • $\sum(y_i-\hat{y}_i)^2$
3. Sum of Squares due to Regression: 예측값에서 관측값의 평균을 뺀 것
   • $\sum(\hat{y}_i-\bar{y})^2$

• Analysis of Variance(ANOVA) Table

  • Source	SS	Degree of Freedom	Mean Square
    Regression	SSR	$p$	MSR=$\frac{SSR}{p}$
    Error	SSE	$n-p-1$	MSE=$\frac{SSE}{n-p-1}$
    Total	SST	$n-1$