변수선택 방법

15.2 변수선택 방법

• 모든 가능한 회귀 (all possible regression)

• 뒤로부터 제거 (backward elimination)

• 앞으로부터 선택 (forward selection)

• 단계별 회귀 (stepwise regression)

$\\[40pt]$

15.2.1 모든 가능한 회귀 (all possible regression)

이 방법은 모든 가능한 변수들의 조합 $2^k$을 회귀분석한다. 방대한 계산을 요구하므로 현실적으로 불가능하다. 따라서 $k$개의 변수 중에서 $p$개를 뽑겠다고 정한다음 "최적"모형을 선택하는 기준은 일반적으로 $R_{p}^2$이나 잔차평균제곱 $MSE_{p}$를 사용한다. $k$개에서 $p$를 뽑는 방법의 수는

개가 있으며, $R_{p}^2$을 가장 크게 하는 모형이나 $MSE_{p}$ 가장 작게 하는 모형을 뽑으면 된다. 두개의 기준으로 뽑은 "최적" 모형은 같은 모형이다.

로 $R_p^2$을 최대로 하는 모형은 $MSE_p$를 최소로 만든다.

$\\[40pt]$

15.2.2 뒤로부터 제거 (backward elimination)

이 방법은 모든 가능한 회귀방정식을 비교하지 않고 다음과 같은 절차에 따라 변수를 선택하여 회귀분석한다.

1. 모든 변수를 포함한 회귀방정식을 적합

2. 변수 하나하나씩에 대한 $partial\ F-$검정치를 구한다.

3. 가장 작은 부분 $F-$검정치 $F_L$과 $F-$분포표로부터의 기각치 $F_c$를 비교.

4. 만약 $F_L<F_c$이면 $F_L$의 값을 준 변수 $x_L$을 제거시키고 나머지 변수들만을 가지고 회귀방정식 적합 후 (2)번 과정 반복. 만약 $F_L\ge F_c$이면 제거시킬 변수는 없으며, 현재 사용하고 있는 변수 선택

이 방법은 계산량이 작은 장점이 있으나 "최적"모형이라는 보장이 없으며 "좋은"모형을 선택하는 방법. 또한 한번 제거된 변수는 다시 선택할 수 없다.

$partial\ F-$ 검정치와 기각치 계산식은

또한 $partial\ F-$검정치를 구할 때 현재 남아 있는 모든 변수에 대한 회귀모형으로 $MSE$를 구하고, 이것을 완전모형 $FM$으로 간주하여 계산한 $SSR_{FM}$과 $x_i$를 제외한 축소모형 $RM$의 $SSR_{RM}$을 고려하여 다음과 같이 검정치를 구한다.

$\\[40pt]$

15.2.3 앞으로부터 선택 (forward selection)

이 방법은 가장 중요하다고 생각되는 변수부터 하나씩 골르면서 더 이상 중요한 변수가 없다고 판정될 때에 중단하여 이미 선택된 변수들만을 중요한 변수들로 간주하는 방법.

1. 모든 독립변수 중에서 종속변수와 가장 상관관계(또는 결정계수)가 높은 변수를 선택. 선택된 변수 $(x_p)$의 회귀방정식 $\hat{y}=f(x_p)$이 유의한가 $partial\ F-$ 검정 수행.

2. $\hat{y}=f(x_p,x_i),\ i\neq p$을 각각 적합시키고 $R^2$을 구한다. $R^2$을 가장 크게 하여 주는 독립변수 $x_i$를 $x_q$라 하자. $x_q$에 대한 $partial\ F-$ 검정을 수행하여 유의하면 다음 변수를 선택하고 유의하지 않으면 $\hat{y}=f(x_p)$회귀방정식 선택.

3. $\hat{y}=f(x_p,x_q,x_i),\ i\neq p,q$을 각각 적합시키고 $R^2$을 구한다. $R^2$을 가장 크게 하여 주는 독립변수 $x_i$를 $x_r$이라 하자. $x_r$에 대한 $partial\ F-$ 검정을 수행하여 유의하면 다음 변수를 선택하고 유의하지 않으면 $\hat{y}=f(x_p,x_q)$회귀방정식 선택.

이 방법의 단점은 처음에 들어간 변수 $x_p$는 제거되지 않는다는 점이다. 예를 들어 하나의 변수만을 고려했을 때는 $x_p$가 가장 좋은 회귀방정식일 수 있지만 두개 이상의 변수가 있을 때는 $x_q,\ x_r$만 있는 회귀방정식이 더 좋을 수 있다.

$\\[40pt]$

15.2.4 단계별 회귀 (stepwise regression)

이 방법은 앞으로부터 선택하는 방법을 개선한 것으로, 중요한 변수를 하나씩 추가선택하여 나가면서 미리 들어간 변수가 새로운 변수로 인해 중요성을 상실하여 제거될 수 있는지 매 단계별로 검토하는 방법.

1. 모든 독립변수 중에서 종속변수와 가장 상관관계(또는 결정계수)가 높은 변수를 선택. 선택된 변수 $(x_p)$의 회귀방정식 $\hat{y}=f(x_p)$이 유의한가 $partial\ F-$ 검정 수행.

2. $\hat{y}=f(x_p,x_i),\ i\neq p$을 각각 적합시키고 $R^2$을 구한다. $R^2$을 가장 크게 하여 주는 독립변수 $x_i$를 선택하고 $partial\ F-$ 검정으로 이 변수의 추가선택이 유의한가 검정한다. 유의하여 선택되었다면 이미 있는 변수 $x_p$에 대해 $partial\ F-$ 검정을 수행하여 유의하지 않으면 $x_p$변수를 제거한다.

3. $x_p$와 $x_q$가 모두 유의하여 남아 있는 경우에 새로운 변수 $\hat{y}=f(x_p,x_q,x_i),\ i\neq p,q$을 각각 적합시키고 $R^2$을 구한다. $R^2$을 가장 크게 하여 주는 독립변수 $x_i$를 $x_r$이라 하자. $x_r$에 대한 $partial\ F-$ 검정을 수행하여 유의했다면 $x_p$와 $x_q$에 대한 $partial\ F-$ 검정을 각각 수행하여 유의하지 않은 변수가 있다면 제거시키고 다음 순서로 넘어간다.

$\\[40pt]$

15.3 변수선택의 판정기준

앞선 변수선택의 계산방법에서 사용된 기준은 대부분 결정계수 $R^2$이었지만 다른 여러가지 방법도 자주 사용된다.

1. 잔차평균제곱 (residual mean square)

으로 $SSE_p$가 작으면 좋은 모형이므로 $MSE_p$가 작은 모형이 좋은 모형이 된다. 이 함수는 $p$에 따라 감소, 증가함수가 아니므로 최소로 하는 $p$값이 존재한다.

2. 결정계수

으로 $SSE_p$가 작으면 좋은 모형이므로 $R_p^2$가 큰 모형이 좋은 모형이 된다. 이 함수는 $p$의 증가함수로 $p$의 증가에 따라 $R_p^2$의 증가가 둔화되는 시점의 $p$를 선택하는 것이 좋다.

3. 수정된 결정계수

이 함수는 결정계수가 갖는 단점을 보강하기 위하여 수정하였다. 이를 통해 증가함수가 아니게 되어 최적의 $p$를 구할 수 있다. $SSE_p$가 작으면 좋은 모형이므로 $R_p^2$가 큰 모형이 좋은 모형이 된다.

4. 총제곱오차

$SSE_p$가 작으면 좋은 모형이므로 $R_p^2$가 큰 모형이 좋은 모형이 된다.

---

[참고문헌]

• 회귀분석 제 3판 - 박성현