다중회귀분석

6.2 독립변수가 둘인 경우

하나의 종속변수 $(y)$와 두 개의 독립변수 $(x_1,\ x_2)$ 사이에 다음과 같이 표현될 수 있다.

일반적으로 오차항 $\epsilon_i$에 대한 가정은

이고 $\beta_i$의 추정값을 $b_i$라고 할 때 $E(y_i$)의 추정값은

이며, $b_i$들의 최소제곱법에 의하여 구하려면 다음의 오차제곱합

을 최소로 하는 $\beta_i$의 값을 구하면 된다. 위 식을 $\beta_i$에 대하여 각각 편미분하여 0으로 놓으면 정규방정식을 얻을 수 있으며 연립방정식을 풀면 최소제곱법에 의한 $\beta_i$의 추정값인 $b_i$를 구할 수 있을 것이다 (본문 p.176-177 참고). 만약, 독립변수의 수가 $n$개의 경우 $n+1$개의 연립방정식을 다루어야하는 복잡함이 있으므로 중회귀분석에서는 거의 모든 경우에 행렬을 사용하여 표현 방법을 간소화한다.

$\\[60pt]$

6.3 행렬의 사용

독립변수가 하나인 경우 관계식을 벡터로 표현하면

행렬을 사용하면

이라 쓸 수 있고, 이를 간략하게

이라고 표기한다. 최소제곱법에 의하여 최소화시키려는 양은 오차제곱합으로

가 되며, 이를 $\beta$에 대하여 미분하여 $0$으로 놓고 이를 만족시키는 $\beta$의 값을 $b$로 하여 다음의 정규방정식을 얻는다.

여기서 $b'=(b_0,\ b_1)$으로 각각 $\beta_0,\ \beta_1$의 추정값이다.

만약 $X'X$의 역행렬이 존재한다면 $b'$를 다음과 같이 표기할 수 있다.

행렬로 표기한 것이 연립방적을 통한 해와 같은 지 확인하려면 본문 p.179-180 참고.

그러므로 중회귀모형은 행렬을 사용하여 다음과 같이 표현이 가능하다.

오차 $\epsilon_i$에 대한 가정은

1. 다변량 정규분포

2. $\epsilon_i\sim N(0,\sigma^2),\quad Cov(\epsilon_i,\ \epsilon_j) = 0,\quad i\neq j$

3. 특별한 조건이 붙지 않는 한 행렬 $X$의 계수 (rank)는

   $r(X)=k+1,\quad n>k$

$\\[60pt]$

기댓값과 분산

(1) $\beta$

이제 $\beta=(\beta_0,\beta_1,\ldots,\beta_n)$의 추정량 $b$의 기댓값과 분산에 대해 알아보자.

• 기댓값

따라서 $b$는 $\beta$의 불편추정량이다.

• 분산
  $\begin{aligned} \text{Var}(b)&=\text{Var}[(X'X)^{-1}X'y] \\[10pt] &=(X'X)^{-1}X'\cdot\text{Var}[y]\cdot X(X'X)^{-1} \\[15pt] &=(X'X)^{-1}X'\cdot I\sigma^2\cdot X(X'X)^{-1} \\[15pt] &=\sigma^2(X'X)^{-1} \end{aligned}$

그런데 $\text{Var}(b)$는 분산과 공분산을 나타내는 행렬

이므로

• 공분산
  $\begin{aligned} Cov(b_0,\ b_1) &= Cov(\bar{y}-b_1\bar{x},\ b_1) \\[10pt] &= Cov(\bar{y},\ b_1) - \bar{x}Cov(b_1,\ b_1) \quad (\because \text{linear}) \\[10pt] &= Cov(\bar{y},\ b_1) - \bar{x}Cov(b_1,\ b_1) \\[10pt] &= -\bar{x}Cov(b_1,\ b_1) \quad ( Cov(\bar{y},\ b_1)=0,\quad \because\text{indep}) \\[10pt] &= -\bar{x}\text{Var}(b_1) \\[10pt] &= \dfrac{-\bar{x}\sigma^2}{S_{(xx)}} \\[10pt] \end{aligned}$

$\\[40pt]$

(2) $\hat{y}$

$\hat{y}$의 기댓값과 분산은

• 기댓값

• 분산

$\\[60pt]$

6.4 분산분석

회귀직선의 유의성 검정을 하기 위해서 가설을 다음과 같이 정의했다.

$H_0:\beta_1=\beta_2=\ldots=\beta_p=0\quad\text{vs}\quad H_1: \text{not } H_0$

회귀직선의 유의성 검정을 할 때 $F-$검정을 하는데 그 값은 위에 구한 $MSE,\ MSR$의 비율이다. 만약 $F_0>F(p,n-p-1;\alpha)$이면 귀무가설을 기각하여 회귀선이 유의하다고 할 수 있다.

• 분산분석표

요인	제곱합	자유도	평균제곱	$F_0$	유의확률
회귀	$SSR$	$p$	$MSR=\dfrac{SSR}{p}$	$\dfrac{MSR}{MSE}$	$P(F\ge F_0)$
잔차	$SSE$	$n-p-1$	$MSE=\dfrac{SSE}{n-p-1}$

총변동 $(SST)$ = 회귀방정식에 의하여 설명되어지는 변동 $(SSR)$ + 설명되어지지 않는 잔차에 의한 변동 $(SSE)$

(1) $SST$

• $SST$

• $SST$ 확률분포

이며 이 때

이므로 $\left(I-\dfrac{J}{n}\right)=A$는 멱등행렬(??)이고 차수 $rank(A)=n-1$이다. 따라서 정리 5.3을 이용하여 $SSE$의 분포는 다음과 같이 구할 수 있다.

• 정리 5.3
  만약 $y\sim N(E(y),\text{Var}(y))$이면

$\\[40pt]$

(2) $SSE$

• $SSE$

• $E(SSE)$

  $\begin{aligned} E(SSE) &= E\left\{y'[I-X(X'X)^{-1}X']y\right\} \\[10pt] &= E(y'Ay)\quad (\because I-X(X'X)^{-1}X'=A) \\[10pt] &= \text{tr}\left\{A\cdot[\text{Var}(y)]\right\} +[E(y)]'A[E(y)] \\[10pt] &= \text{tr}\left(AI\sigma^2\right) +(X\beta)'A(X\beta) \\[10pt] &= \sigma^2\text{tr}(A)+\beta'X'A X\beta \\[10pt] &=(n-p-1)\sigma^2 \end{aligned}$
  • 참고
    $\begin{aligned} \text{tr}(A) &= \text{tr}[I-X(X'X)^{-1}X'] \\[10pt] &= \text{tr}(I) - \text{tr}[X(X'X)^{-1}X'] \\[10pt] &= \text{tr}(I_n) - \text{tr}(I_{p+1})\\[10pt] &= n - (p+1) \\[10pt] &= n-p-1 \\[20pt] X'A X&=X'[I-X(X'X)^{-1}X']X \\[10pt] &= 0\quad (\because\ [I-X(X'X)^{-1}X']X=0) \end{aligned}$

• $E(MSE)$

• $SSE$ 확률분포

$SSE=y'[I-X(X'X)^{-1}X']y$에서 $[I-X(X'X)^{-1}X']$는 멱등행렬이므로 계수는 $n-p-1$이 된다. 또한

이므로 따라서 정리 5.3을 이용하여 $SSE$의 분포는 다음과 같이 구할 수 있다.

$\\[40pt]$

(3) $SSR$

• $SSR$

  $\begin{aligned} SSR &= SST - SSE \\[10pt] &= [y'y-n(\bar{y})^2]-[y'y-b'X'y] \\[10pt] &= b'X'y - n(\bar{y})^2 \\[10pt] &= y'X(X'X)^{-1}X'y - n(\bar{y})^2 \\[10pt] &\text{or} \\[10pt] SSR &= \sum(\hat{y}-\bar{y})^2 \\[10pt] &= \sum\hat{y}^2-n(\bar{y})^2 \\[10pt] &= \hat{y}'\hat{y}-n(\bar{y})^2 \\[10pt] &= b'X'Xb-n(\bar{y})^2\quad (\because \hat{y}=Xb) \\[10pt] &= y'X(X'X)^{-1}X'X(X'X)^{-1}X'y-n(\bar{y})^2\quad (\because b = (X'X)^{-1}X'y) \\[10pt] &= y'X(X'X)^{-1}X'y-n(\bar{y})^2 \\[10pt] &= b'X'y-n(\bar{y})^2 \\[10pt] \end{aligned}$

• $E(SSR)$

  $\begin{aligned} E(SSR) &= E\left[y'X(X'X)^{-1}X'y-n(\bar{y})^2\right] \\[10pt] &= E\left[y'X(X'X)^{-1}X'y-y'\left(\dfrac{J}{n}\right)y\right] \\[10pt] &= E\left\{y'\left[X(X'X)^{-1}X'-\left(\dfrac{J}{n}\right)\right]y\right\} \\[10pt] &= E\left(y'Ay\right)\quad \left(\because\ X(X'X)^{-1}X'-\left(\dfrac{J}{n}\right)=A\right) \\[10pt] &= \text{tr}\left\{A\cdot[\text{Var}(y)]\right\} +[E(y)]'A[E(y)] \\[10pt] &= \text{tr}\left(AI\sigma^2\right) +(X\beta)'A(X\beta) \\[10pt] &= \sigma^2\text{tr}\left(A\right) +\beta'X'AX\beta \\[10pt] &=p\sigma^2 + \beta'X'\left[X(X'X)^{-1}X'-\dfrac{J}{n}\right]X\beta \\[10pt] &=p\sigma^2 + \beta'X'\left[X(X'X)^{-1}X'\right]X\beta - \beta'X'\left(\dfrac{J}{n}\right)X\beta \\[10pt] &=p\sigma^2 + \beta'X'X\beta - \beta'X'\left(\dfrac{J}{n}\right)X\beta \\[10pt] &=p\sigma^2 + \beta'X'\left(I-\dfrac{J}{n}\right)X\beta \end{aligned}$

  - 참고

  $\begin{aligned} \text{tr}(A) &= \text{tr}\left[X(X'X)^{-1}X'-\dfrac{J}{n}\right] \\[10pt] &= \text{tr}[X(X'X)^{-1}X'] - \text{tr}\left(\dfrac{J}{n}\right) \\[10pt] &= \text{tr}[(X'X)^{-1}X'X] - \text{tr}\left(\dfrac{J}{n}\right) \\[10pt] &= \text{tr}(I_p) - \text{tr}\left(\dfrac{J}{n}\right) \\[10pt] &= (p+1)-1 \\[10pt] &= p \end{aligned}$

• $E(MSR)$

• $SSR$ 확률분포

이며 이 때 $X(X'X)^{-1}X'\bold{1}=\bold{1}$ (연습문제 1.12 참조)이므로

가 또한 성립한다.

이므로 $X(X'X)^{-1}X'-\dfrac{J}{n}=A$는 멱등행렬이다. 이 행렬의 계수는 $(1+p)-1=p$이다. 따라서 정리 5.3을 이용하여 $SSE$의 분포는 다음과 같이 구할 수 있다.

$\\[40pt]$

(4) 가설 설정과 검정통계량

1. 가설 설정

회귀직선의 유의성 검정을 하기 위해서 가설을

위와 같이 정의해도 되는지 확인하기 위하여 $MSR$과 $MSE$의 기댓값의 비를 보면 된다.

인데 $X'(I-\dfrac{J}{n})X$가 양반정치행렬이므로 모든 $\beta$에 대해

이며, 등호가 성립하는 경우는 $\beta_0$에 관계없이 다음과 같은 관계가 되어야 한다.

즉, 적어도 하나가 0이 아니면 양의값이 된다. 따라서 분산분석표의 $F-$검정은 위와 같은 가설을 가지고 있다고 보아도 좋을 것이다.

$\\[30pt]$

2. 검정통계량

귀무가설이 유의수준 $\alpha$에서 옳은 것인가 아닌가의 판단할 때 $F-$검정을 해도 되는지 알아본다. 우선 두 개의 $y$의 이차형식인 $\dfrac{SSR}{\sigma^2}$과 $\dfrac{SSE}{\sigma^2}$가 서로 독립적으로 분포되어 있는가를 알아봐야 한다. 정리 5.6을 이용하기 위하여

라 놓으면 필요충분조건

이 만족된다.

• 정리 5.6
  $y\sim N(E(y),V)$일 때 두 이차형식, $y'Ay$와 $y'By$가 독립적으로 분포하기 위한 필요충분조건은
  $AVB=\bold{0}\quad(\text{or}\quad BVA=\bold{0})$

따라서 $SSR$과 $SSE$는 서로 독립적으로 분포하고 있다.

이제 $y\sim N(E(y),I\sigma^2)$일 때 비중심 $F-$분포 이론에서 논의된 바와 같이 (p.159-160)

이며, $SSR$과 $SSE$가 서로 독립이므로, 검정통계량

는 비중심 $F-$분포 $F'(p,n-p-1,\lambda)$를 하며, 비중심모수는

이다. 그런데, 중회귀모형

의 분산분석표의 $F-$검정은 그 귀무가설을 독립변수들과 종소변수의 간의 관계를 설명하는데 중회귀모형이 의미가 없다라고 말할 수 있으며 이는 앞에 설명한대로로

라고 표현할 수 있다. 만약 귀무가설이 성립하면

과 같은 분포를 하여, 귀무가설이 유의수준 $\alpha$에서 옳은 것인가 아닌가의 판단을 $F-$분포표로부터 기각치 $F(p,n-p-1;\alpha)$를 찾아서 $F_0$의 값과 비교하여 결론을 낼 수 있을 것이다. 만약 $F_0>F(p,n-p-1;\alpha)$이면 귀무가설을 기각하여 회귀선이 유의하다고 할 수 있다.

$\\[60pt]$

7.4 가설검정

회귀식이 다음과 같을 때

다음의 가설에 대하여 General Linear Hypothesis를 수행하여라.

$\\[20pt]$

$H_0:T\beta=0$이라 설정할 때 $\beta_1=\beta_2,\quad\beta_3=\beta_4$이므로 $T$는 다음과 같다.

$T$의 계수를 검정통계량 분자의 자유도로 설정한다. 여기서는 $r=2$이다. 이 때 검정통계량 값은 귀무가설 하에서

이므로 이 문제에서

이면 귀무가설을 기각하고 아니면 귀무가설을 채택한다. 각 모형의 자유도는 $\text{SSE}_{FM} = n - p -1,\ \text{SSE}_{RM} = n - p -1 +r$ 이다.

---

[참고문헌]

• 회귀분석 제 3판 - 박성현