단순회귀분석

choyunjeong·2025년 1월 5일

회귀분석 제 3판 - 박성현

목록 보기

1/8

Abstract

회귀모형 적합 과정

산점도, 상관관계
회귀모형 적합
통계적 유의성 검정
- 회귀직선의 유의성 검정 ( $F$ 검정)
- 개별회귀 계수 검정 ( $t$ 검정)
모형 적합도
- $R^2$
- $MSE$
회귀진단

잔차분석
이상점
변수선택, 다중공선성

$\\[60pt]$

3.1 기본 모형

단순선형회귀모형의 기본 모형은 다음과 같다.

y=\beta_0+\beta_1x+\epsilon,\quad \epsilon\sim (0,\sigma^2)

회귀계수 또는 모수

$\beta_0$ : 상수항 또는 절편
$\beta_1$ : 기울기
$\epsilon$ : 오차항. 정규분포가 필수는 아님.

$\\[60pt]$

3.2 기본 가정

선형성
- $E(y|x)=\mu_{y,x}=\beta_0+\beta_1x$
- $\therefore\ y=\mu_{y,x}+\epsilon$
- $\text{Var}(\epsilon) = \text{Var}(y - \mu_{y,x})=\sigma^2$ 일 때
  $\epsilon\sim N(0,\ \sigma^2) \\[10pt] y\sim N(\mu_{y,x},\ \sigma^2) \\[10pt] \therefore \text{Var}(y)=\text{Var}(\epsilon)=\sigma^2$

등분산성
- $\text{Var}(y|x)=\sigma^2$
정규성
- $y|x \sim N(E(y|x),\sigma^2)$
독립성
- $Cov(\epsilon_i,\ \epsilon_j)=0,\quad i\neq j$

$\\[60pt]$

3.3 회귀선의 추정

$y=\beta_0+\beta_1x+\epsilon$ 을 추정하여 얻은 직선을

\hat{y}=b_0+b_1x

로 표시하며, 이와 같은 직선을 추정된 회귀직선이라 부른다. 여기서 $b_0,\ b_1,\ \hat{y}$ 는 각각 $\beta_0,\ \beta_1,\ \mu_{y,x}$ 의 추정값 (esitmate)이다. $b_0,\ b_1$ 을 추정하는 방법 중 최소제곱법이 가장 널리 사용된다.

$\\[40pt]$

3.3.1 최소제곱법

회귀모형을

y_i=\beta_0+\beta_1x_i+\epsilon_i

라고 표현할 때 오차제곱들의 합

S=\sum_{i=1}^{n}\epsilon^2=\sum_{i=1}^{n}(y_i-\beta_0-\beta_1x_i)^2

을 최소로 하는 $\beta_0,\ \beta_1$ 값을 이들의 추정값 $b_0,\ b_1$ 으로 하는 방법이다. 오차제곱합 $S$ 를 최소화시키는 $\beta_0,\ \beta_1$ 을 구하기 위하여 $S$ 를 $\beta_0,\ \beta_1$ 으로 각각 편미분하여 다음의 결과를 얻게 된다.

\dfrac{\partial S}{\partial\beta_0}=-2\sum(y_i-\beta_0-\beta_1x_i) \tag{1}

\dfrac{\partial S}{\partial\beta_1}=-2\sum x_i(y_i-\beta_0-\beta_1x_i) \tag{2}

위 식의 편미분 값을 0으로 만드는 $\beta_0,\ \beta_1$ 을 각각 $b_0,\ b_1$ 으로 대치하여 정리하면

\begin{aligned} b_0n+ b_1\sum x_i &= \sum y_i \\[10pt] b_0\sum x_i+ b_1\sum x_i^2 &= \sum x_iy_i \end{aligned}

이 되는데 이 식을 정규방정식이라 한다. 정규방정식을 $b_0,\ b_1$ 에 대하여 풀면,

\begin{aligned} 0 &=\sum(y_i-\beta_0-\beta_1x_i) \\[15pt] \therefore\ b_0 &= \dfrac{1}{n}\sum y_i - b_1 \dfrac{1}{n}\sum x_i \\[15pt] &=\bar{y}-b_1\bar{x} \\[20pt] 0&= \sum x_i(y_i-b_0-b_1x_i) \\[15pt] &= \sum x_i(y_i-\bar{y}+b_1\bar{x}-b_1x_i) \\[15pt] \sum x_i(y_i-\bar{y}) &= b_1\sum x_i(x_i-\bar{x}) \\[20pt] \therefore\ b_1 &= \dfrac{\sum x_i(y_i-\bar{y})}{\sum x_i(\bar{x}-x_i)} \\[15pt] &= \dfrac{\sum (x_i-\bar{x}+\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}+\bar{x})(x_i-\bar{x})} \\[15pt] &= \dfrac{\sum (x_i-\bar{x})(y_i-\bar{y})+\sum\bar{x}(y_i-\bar{y})}{\sum (x_i-\bar{x})^2+\sum \bar{x}(x_i-\bar{x})} \\[15pt] &= \dfrac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2} \\[15pt] &= \dfrac{S_{(xy)}}{S_{(xx)}} \end{aligned}

표현을 간단히 하기 위하여 다음과 같이 설정

\begin{aligned} S_{(xx)}&=\sum (x_i-\bar{x})^2 \\[10pt] S_{(yy)}&=\sum (y_i-\bar{y})^2 \\[10pt] S_{(xy)}&=\sum (x_i-\bar{x})(y_i-\bar{y}) \end{aligned}

참고로 $y=\beta_0+\beta_1x+\epsilon$ 을 다음과 같은 대체모형으로 사용하는 경우도 있다.

y=\beta_0'+\beta_1(x-\bar{x})+\epsilon,\quad (\beta_0'=\beta_0+\beta_1\bar{x})

이 대체모형을 최소제곱법을 사용하여 $b_0',\ b_1$ 을 구하면

\begin{aligned} \hat{y} &= b_0'+b_1(x-\bar{x}) \\[10pt] b_0' &= \bar{y} \\[10pt] b_1 &= \dfrac{S_{(xy)}}{S_{(xx)}} \end{aligned}

따라서 추정된 회귀선은 다음과 같이 표기된다.

\hat{y} = b_0+b_1x \quad\text{or}\quad \hat{y} -\bar{y} = b_1(x-\bar{x}) \quad\text{or}\quad \hat{y} = b_0'+b_1(x-\bar{x})

$\\[40pt]$

3.3.2 최대가능도추정법

$\epsilon\sim N(0,\sigma^2)$ 일 때 확률밀도함수는

f(\epsilon_i)=\dfrac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\dfrac{(\epsilon_i-0)^2}{2\sigma^2}\right)

이고 가능도 함수는

\begin{aligned} L=\prod_{i=1}^{n}f(\epsilon_i) &= \dfrac{1}{(2\pi\sigma^2)^{n/2}}\exp\left(-\dfrac{\sum\epsilon_i^2}{2\sigma^2}\right) \\[15pt] &= \dfrac{1}{(2\pi\sigma^2)^{n/2}}\exp\left(-\dfrac{\sum(y_i-\beta_0-\beta_1x_i)^2}{2\sigma^2}\right) \\[25pt] \ln L &= \ln \left[\dfrac{1}{(2\pi\sigma^2)^{n/2}}\exp\left(-\dfrac{\sum(y_i-\beta_0-\beta_1x_i)^2}{2\sigma^2}\right)\right] \\[15pt] &= -\dfrac{n}{2}\ln 2\pi\sigma^2 - -\dfrac{1}{2\sigma^2}\sum(y_i-\beta_0-\beta_1x_i)^2 \end{aligned}

위 식을 각각 $\beta_0,\ \beta_1$ 으로 미분하면

\begin{aligned} \dfrac{\partial}{\partial\beta_0} \ln L &= \dfrac{1}{\sigma^2}\sum(y_i-\beta_0-\beta_1x_i) \\[15pt] \dfrac{\partial}{\partial\beta_1} \ln L &= \dfrac{1}{\sigma^2}\sum x_i(y_i-\beta_0-\beta_1x_i) \end{aligned}

이 되는데 이를 각각 0으로 놓고 $\beta_0,\ \beta_1$ 의 해를 구하는 것은 최소제곱법 풀이와 동일하다. 유의할 사항은 앞에서 다룬 최소제곱법은 $\epsilon$ 이 정규분포를 한다는 가정이 없을 때에도 적용되는 추정 방법이지만 최대가능도추정법은 $\epsilon$ 의 분포가 정규분포를 만족하여야한다.

$\\[60pt]$

3.4 개별 계수 추정값 확인.

3.4.1 $\beta_1$ 관련

(1) 기댓값과 분산

모집단회귀선의 기울기 $\beta_1$ 을 추정하기 위하여 모집단으로부터 하나의 표본을 사용하여 추정한 $b_1$ 은

b_1=\dfrac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2}

이고 이 기울기는 표본으로부터 얻어진 것이므로 평균과 분산을 가지고 있으며, 평균과 분산을 구해보자.

우선 $b_1$ 의 분자 식은

\begin{aligned} \sum (x_i-\bar{x})(y_i-\bar{y}) &= \sum (x_i-\bar{x})y_i - \bar{y}\sum (x_i-\bar{x}) \\[10pt] &= \sum (x_i-\bar{x})y_i\quad (\because\sum (x_i-\bar{x})=0) \end{aligned}

이므로 다음과 같이

b_1=\sum a_iy_i,\quad \left(a_i=\dfrac{x_i-\bar{x}}{\sum(x_i-\bar{x})^2}\right)

라고 쓸 수 있고, $y_i\sim N(E(y_i),\sigma^2)$ 이므로 $b_1$ 의 기댓값과 분산은

기댓값

\begin{aligned} E(b_1)&=E\left[\sum a_iy_i\right] \\[15pt] &= \sum a_i E(y_i) \quad (\because \text{Linear}) \\[15pt] &= \sum \dfrac{x_i-\bar{x}}{\sum(x_i-\bar{x})^2} [\beta_0'+\beta_1(x_i-\bar{x})]\quad (\because\ \beta_0'= \beta_0 + \beta_1\bar{x}) \\[15pt] &= \beta_0'\dfrac{\sum(x_i-\bar{x})}{\sum(x_i-\bar{x})^2} + \beta_1\dfrac{\sum(x_i-\bar{x})^2}{\sum(x_i-\bar{x})^2} \\[15pt] &=\beta_1 \quad (\because \sum(x_i-\bar{x})=0) \\[15pt] & \text{or} \\[15pt] E(b_1)&=E\left[\sum a_iy_i\right] \\[15pt] &=\sum a_i E(y_i) \quad (\because \text{Linear}) \\[15pt] &=\sum \dfrac{x_i-\bar{x}}{\sum(x_i-\bar{x})^2}\cdot (\beta_0+\beta x_i) \\[15pt] &=\dfrac{1}{\sum(x_i-\bar{x})^2} \left\{(\beta_0\sum(x_i-\bar{x})+\beta_1\sum x_i(x_i-\bar{x}))\right\} \\[15pt] &=\dfrac{1}{\sum(x_i-\bar{x})^2} \left\{\beta_1\sum (x_i-\bar{x}+\bar{x})(x_i-\bar{x})\right\} \quad (\because \sum(x_i-\bar{x})=0) \\[15pt] &=\dfrac{1}{\sum(x_i-\bar{x})^2} \left\{\beta_1\sum (x_i-\bar{x})^2+\sum\bar{x}(x_i-\bar{x})\right\} \\[15pt] &=\dfrac{1}{\sum(x_i-\bar{x})^2} \left\{\beta_1\sum (x_i-\bar{x})^2+\sum\bar{x}(x_i-\bar{x})\right\} \\[15pt] &=\beta_1 \end{aligned}

따라서 $b_1$ 은 $\beta_1$ 의 불편추정량이다.

분산

\begin{aligned} \text{Var}(b_1)&=\text{Var}\left[\sum a_iy_i\right] \\[15pt] &=\sum a_i^2\text{Var}(y_i) \quad (\because \text{indep.}) \\[15pt] &=\sigma^2 \sum \left(\dfrac{x_i-\bar{x}}{\sum(x_i-\bar{x})^2}\right)^2 \quad (\text{Var}(y_i)=\sigma^2) \\[15pt] &=\sigma^2 \dfrac{\sum (x_i-\bar{x})^2}{[\sum(x_i-\bar{x})^2]^2} \\[15pt] &= \dfrac{\sigma^2}{\sum(x_i-\bar{x})^2} \\[15pt] \end{aligned}

따라서 $b_1\sim N\left(\beta_1,\ \dfrac{\sigma^2}{S_{(xx)}}\right)$ 이 된다. $\sigma^2$ 의 추정은 $MSE\ (=S_{y,x})$ 에 의하여 얻어지므로 $b_1$ 의 분산의 추정값은 다음과 같다.

\hat{\sigma}^2=\hat{\text{Var}}(b_1)=\dfrac{MSE}{S_{(xx)}},\quad MSE=\dfrac{\sum (y-\hat{y})^2}{n-p-1}

$\\[40pt]$

(2) 신뢰구간

유의수준 $\alpha$ 에서 $b_1$ 의 신뢰구간을 구하기 위해 $b_1\sim N\left(\beta_1,\ \dfrac{\sigma^2}{S_{(xx)}}\right)$ 을 표준화 하면

\dfrac{b_1-\beta_1}{\sigma/\sqrt{S_{(xx)}}} \sim N(0,1)

로 변환해주고 $b_1$ 으로 풀어주면

P(b_1-z_{\alpha/2}\dfrac{\sigma}{\sqrt{S_{(xx)}}} < \beta_1 < b_1+z_{\alpha/2}\dfrac{\sigma}{\sqrt{S_{(xx)}}})= 1-\alpha

모수의 분산을 알지 못하는 경우 $\hat{\text{Var}}(b_1)$ 를 사용하여

\beta_1\ \pm\ t_{\alpha/2}(n-p-1)\sqrt{\dfrac{MSE}{S_{(xx)}}}

$\\[40pt]$

(3) 개별 회귀계수 검정

개별 회귀계수의 검증에서 $\text{Var}(\hat{\theta})$ 가 알려져있지 않은 경우 $t-$ 분포를 사용하여 검정한다.

t_0=\dfrac{b_1-\beta_{10}}{\sqrt{\dfrac{MSE}{S_{(xx)}}}}

이 구한 $t_0$ 값으로 양측검정 한다면

t_0>t\left(n-p-1;\dfrac{\alpha}{2}\right)

일 때 귀무가설을 기각하고 아니면 귀무가설을 채택한다.

$\\[50pt]$

3.4.2 $\beta_0$ 관련

(1) 기댓값과 분산

모집단회귀선의 절편 $\beta_0$ 을 추정하기 위하여 모집단으로부터 하나의 표본을 사용하여 추정한 $b_0$ 은

b_0=\bar{y}-b_1\bar{x}

이고 이 기울기는 표본으로부터 얻어진 것이므로 평균과 분산을 가지고 있으며, 평균과 분산을 구해보자.

기댓값

\begin{aligned} E(b_0)&=E(\bar{y})-\bar{x}\cdot E(b_1) \\[10pt] &=\dfrac{1}{n}\sum E(y_i)-\bar{x}\cdot E(b_1) \\[10pt] &=\dfrac{1}{n}\sum (\beta_0+\beta_1x_i)-\bar{x}\cdot E(b_1) \\[10pt] &=\dfrac{1}{n}(n\beta_0+\beta_1\sum x_i)-\bar{x}\cdot E(b_1) \\[10pt] &=\beta_0+\beta_1\bar{x}-\bar{x}\beta_1 \\[10pt] &=\beta_0 \end{aligned}

따라서 $b_0$ 은 $\beta_0$ 의 불편추정량이다.

분산

\begin{aligned} \text{Var}(b_0)&=\text{Var}(\bar{y}-b_1\bar{x}) \\[15pt] &=\text{Var}(\bar{y})+(\bar{x})^2\text{Var}(b_1)-2Cov(\bar{y},\ b_1\bar{x}) \\[15pt] &=\dfrac{1}{n^2}\sum \text{Var}(y_i)+(\bar{x})^2\text{Var}(b_1)-2Cov(\bar{y},\ b_1\bar{x}) \\[15pt] &=\dfrac{1}{n^2}\sum \sigma^2+(\bar{x})^2\text{Var}(b_1)-2Cov(\bar{y},\ b_1\bar{x}) \\[15pt] &=\dfrac{\sigma^2}{n} + \dfrac{\bar{x}^2\sigma^2}{S_{(xx)}}-2Cov(\bar{y},\ b_1\bar{x}) \\[15pt] &=\sigma^2\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)-2\bar{x}Cov(\bar{y},\ b_1) \\[15pt] &=\sigma^2\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)\quad (\because\ Cov(\bar{y},\ b_1)=0) \\[15pt] \end{aligned}

따라서 $b_0\sim N\left(\beta_0,\ \sigma^2\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)\right)$ 이 된다. $\sigma^2$ 의 추정은 $MSE\ (=S_{y,x})$ 에 의하여 얻어지므로 $b_0$ 의 분산의 추정값은 다음과 같다.

\hat{\sigma}^2=\hat{\text{Var}}(b_0)=MSE\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right),\quad MSE=\dfrac{\sum (y-\hat{y})^2}{n-p-1}

$\\[40pt]$

(2) 신뢰구간

유의수준 $\alpha$ 에서 $b_1$ 의 신뢰구간을 구하기 위해 $b_0\sim N\left(\beta_0,\ \sigma^2\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)\right)$ 을 표준화 하면

\dfrac{b_0-\beta_0}{\sqrt{\sigma^2\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)}} \sim N(0,1)

로 변환해주고 $b_1$ 으로 풀어주면

P(b_0-z_{\alpha/2}\sqrt{\sigma^2\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)} < \beta_0 < b_1+z_{\alpha/2}\sqrt{\sigma^2\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)}) = 1-\alpha

모수의 분산을 알지 못하는 경우 $\hat{\text{Var}}(b_1)$ 를 사용하여

\beta_1\ \pm\ t_{\alpha/2}(n-p-1)\sqrt{MSE\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)}

$\\[40pt]$

(3) 개별 회귀계수 검정

개별 회귀계수의 검증에서 $\text{Var}(\hat{\theta})$ 가 알려져있지 않은 경우 $t-$ 분포를 사용하여 검정한다.

t_0=\dfrac{b_0-\beta_{00}}{\sqrt{MSE\left(\dfrac{1}{n} + \dfrac{\bar{x}^2}{S_{(xx)}}\right)}}

이 구한 $t_0$ 값으로 양측검정 한다면

t_0>t\left(n-p-1;\dfrac{\alpha}{2}\right)

일 때 귀무가설을 기각하고 아니면 귀무가설을 채택한다.

$\\[50pt]$

3.4.3 $\mu_{y,x}$ 관련

(1) 기댓값과 분산

$y$ 의 기댓값을

E(y)=\mu_{y,x}=\beta_0+\beta_1x

라고 정의했고 이는

\hat{y}=b_0+b_1x=b_0'+b_1(x-\bar{x})=\bar{y}+b_1(x-\bar{x})

에 의하여 추정된다. 추정량 $\hat{y}$ 의 기댓값과 분산은

기댓값

\begin{aligned} E(\hat{y})&=E[b_0+b_1x] \\[10pt] &=\beta_0+\beta_1x \\[10pt] &=\mu_{y,x} \end{aligned}

따라서 $\hat{y}$ 은 $\mu_{y,x}$ 의 불편추정량이다.

분산

\begin{aligned} \text{Var}(\hat{y})&=\text{Var}(\bar{y}+b_1(x-\bar{x})) \\[15pt] &=\text{Var}(\bar{y})+(x-\bar{x})^2\text{Var}(b_1)+2(x-\bar{x})Cov(\bar{y},\ b_1) \\[15pt] &=\text{Var}(\bar{y})+(x-\bar{x})^2\text{Var}(b_1)\quad (\because\ Cov(\bar{y},\ b_1)=0) \\[15pt] &=\dfrac{\sigma^2}{n} + \dfrac{(x-\bar{x})^2\sigma^2}{S_{(xx)}} \\[15pt] &=\sigma^2\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right) \\[15pt] \end{aligned}

따라서 $\hat{y}\sim N\left(\mu_{y,x},\ \sigma^2\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right)\right)$ 이 된다. $\sigma^2$ 의 추정은 $MSE\ (=S_{y,x})$ 에 의하여 얻어지므로 $\hat{y}$ 의 분산의 추정값은 다음과 같다.

\hat{\sigma}^2=\hat{\text{Var}}(\hat{y})=MSE\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right),\quad MSE=\dfrac{\sum (y-\hat{y})^2}{n-p-1}

$\\[40pt]$

(2) 신뢰구간

유의수준 $\alpha$ 에서 $b_1$ 의 신뢰구간을 구하기 위해 $\hat{y}\sim N\left(\mu_{y,x},\ \sigma^2\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right)\right)$ 을 표준화 하면

\dfrac{\hat{y}-\mu_{y,x}}{\sqrt{\sigma^2\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right)}} \sim N(0,1)

로 변환해주고 $b_1$ 으로 풀어주면

P(\hat{y}-z_{\alpha/2}\sqrt{\sigma^2\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right)} < \mu_{y,x} < \hat{y}+z_{\alpha/2}\sqrt{\sigma^2\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right)}) = 1-\alpha

모수의 분산을 알지 못하는 경우 $\hat{\text{Var}}(b_1)$ 를 사용하여

\hat{y}\ \pm\ t_{\alpha/2}(n-p-1)\sqrt{MSE\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right)}

$\\[40pt]$

(3) 개별 회귀계수 검정

개별 회귀계수의 검증에서 $\text{Var}(\hat{\theta})$ 가 알려져있지 않은 경우 $t-$ 분포를 사용하여 검정한다.

t_0=\dfrac{\hat{y}-y_0}{\sqrt{MSE\left(\dfrac{1}{n} + \dfrac{(x-\bar{x})^2}{S_{(xx)}}\right)}}

이 구한 $t_0$ 값으로 양측검정 한다면

t_0>t\left(n-p-1;\dfrac{\alpha}{2}\right)

일 때 귀무가설을 기각하고 아니면 귀무가설을 채택한다.

$\\[60pt]$

3.6 분산분석

회귀직선의 유의성 검정을 하기 위해서 가설을 다음과 같이 정의했다.

H_0: \beta_1=0\quad\text{vs}\quad H_1: \beta\neq 0

회귀직선의 유의성 검정을 할 때 $F-$ 검정을 하는데 그 값은 위에 구한 $MSE,\ MSR$ 의 비율이다. 만약 $F_0>F(p,n-p-1;\alpha)$ 이면 귀무가설을 기각하여 회귀선이 유의하다고 할 수 있다.

분산분석표

요인	제곱합	자유도	평균제곱	$F_0$	유의확률
회귀	$SSR$	$p$	$MSR=\dfrac{SSR}{p}$	$\dfrac{MSR}{MSE}$	$P(F\ge F_0)$
잔차	$SSE$	$n-p-1$	$MSE=\dfrac{SSE}{n-p-1}$

다음식은 총 편차를 회귀선에 의하여 설명되지 않는 편차와 설명되는 편차의 합으로 나타낸 것이다.

(y_i-\bar{y}) = (y_i-\hat{y}) - (\hat{y}-\bar{y})

이 식을 제곱하고 모든 $i$ 에 대하여 합을 구하면

\sum(y_i-\bar{y})^2 = \sum(y_i-\hat{y})^2 - \sum(\hat{y}-\bar{y})^2 +2\sum(y_i-\hat{y})(\hat{y}-\bar{y})

가 되는데 오른쪽 마지막 항은

\begin{aligned} \sum(y_i-\hat{y})(\hat{y}-\bar{y}) &= \sum e_i(\hat{y}-\bar{y}) \\[10pt] &= \sum \hat{y}e_i - \bar{y}\sum e_i \\[10pt] &= b_0\sum e_i + b_1\sum xe_i - \bar{y}\sum e_i \\[10pt] &=0 - 0 - 0 \\[10pt] &=0 \end{aligned}

이므로 다음이 성립한다.

\sum(y_i-\bar{y})^2 = \sum(y_i-\hat{y})^2 - \sum(\hat{y}-\bar{y})^2

여기서 각각

\begin{aligned} SST &= \sum(y_i-\bar{y})^2 \\[10pt] SSE &= \sum(y_i-\hat{y})^2 \\[10pt] SSR &= \sum(\hat{y}-\bar{y})^2 \\[10pt] &= \sum(b_1(x-\bar{x}))^2 \\[10pt] &= b_1^2S_{(xx)} \\[10pt] &= \dfrac{[S_{(xx)}]^2}{S_{(xx)}} \end{aligned}

으로 $SST$ 는 총변동 (총 제곱합)으로 자유도가 $n-1$ , $SSE$ 는 잔차에 의한 제곱합으로 자유도가 $n-p-1$ , $SSR$ 은 회귀에 의한 제곱합으로 자유도가 $p$ 이다. 평균제곱은 제곱에 자유도를 나눈 값으로 다음과 같다.

\begin{aligned} MSE &= \dfrac{SSE}{(n-p-1)} \\[10pt] MSR &= \dfrac{SSR}{p} \\[10pt] \end{aligned}

이 때 $MSE$ 는 모수 $\sigma^2$ 의 표본 분산 $(S_{y,x})$ 의 불편추정량값이다.

R^2= \frac{SSR}{SST} = 1- \frac{SSE}{SST},\quad R_{adj}^2= 1 - (n-1)\frac{MSE}{SST}

[참고문헌]

회귀분석 제 3판 - 박성현

choyunjeong

다음 포스트

단순회귀분석

회귀분석 제 3판 - 박성현

Abstract

3.1 기본 모형

3.2 기본 가정

3.3 회귀선의 추정

3.3.1 최소제곱법

3.3.2 최대가능도추정법

3.4 개별 계수 추정값 확인.

3.4.1 $\beta_1$ 관련

(1) 기댓값과 분산

(2) 신뢰구간

(3) 개별 회귀계수 검정

3.4.2 $\beta_0$ 관련

(1) 기댓값과 분산

(2) 신뢰구간

(3) 개별 회귀계수 검정

3.4.3 $\mu_{y,x}$ 관련

(1) 기댓값과 분산

(2) 신뢰구간

(3) 개별 회귀계수 검정

3.6 분산분석

다중회귀분석

0개의 댓글

단순회귀분석

회귀분석 제 3판 - 박성현

Abstract

3.1 기본 모형

3.2 기본 가정

3.3 회귀선의 추정

3.3.1 최소제곱법

3.3.2 최대가능도추정법

3.4 개별 계수 추정값 확인.

3.4.1 β1\beta_1β1​ 관련

(1) 기댓값과 분산

(2) 신뢰구간

(3) 개별 회귀계수 검정

3.4.2 β0\beta_0β0​ 관련

(1) 기댓값과 분산

(2) 신뢰구간

(3) 개별 회귀계수 검정

3.4.3 μy,x\mu_{y,x}μy,x​ 관련

(1) 기댓값과 분산

(2) 신뢰구간

(3) 개별 회귀계수 검정

3.6 분산분석

다중회귀분석

0개의 댓글

3.4.1 $\beta_1$ 관련

3.4.2 $\beta_0$ 관련

3.4.3 $\mu_{y,x}$ 관련