[통계] 12-3. Evaluation of Regression Models 회귀 모형의 적합도 판정

👨‍💻 회귀 모형의 적합도 판정

회귀 모형의 적합도를 판정한다는 것은, 다시 말해

1. 종속변수가 독립변수들로 설명될 수 있는지 ($R^2$)
2. 종속변수가 독립변수들로 얼마나 잘 설명되는지 ($F$ 검정)

를 판정하는 일이다.

위 그래프를 통해 직관적으로 알 수 있는 식이다.
이 식을 일반화하여 표현하면 다음과 같다.

위 식을 수식으로 표현하면 다음과 같다.

• $TSS$: 총 제곱합 Total Sum of Squares = $SST$
• $ESS$: 회귀제곱합 Explained Sum of Squares = $SSE$, $SSR$(Regression)
• $RSS$: 잔차제곱합 Residual Sum of Squares = $SSR$, $SSE$(Errors)

누군지 몰라도 용어를 참 재미 없게 정의해둔 덕분에 매우 헷갈린다.

🤔 추론

총 제곱합(TSS)에서 회귀제곱합(ESS)이 적당한 비율을 차지할 때,
회귀 모형을 사용하기에 적합한 경우라고 판단할 수 있겠다.

🌟 결정계수 $R^2$

• 회귀 모형의 적합도(goodness of fit)를 판정하는 데 사용되는 계수

  $결정계수\ R^2 = \frac{ESS}{TSS} = 1 - \frac{RSS}{TSS}$
  $0 \leq R^2 \leq 1$

• $R^2=1$일 때, $X$와 $Y$는 완벽한 비례 관계에 있으므로 회귀분석 불필요.

• $R^2=0$일 때, $X$와 $Y$는 완벽히 무관하므로 회귀분석 불가능.

  $0<R^2<1$일 때,
  $X$에 대해 $Y$를 회귀분석하기에 적합하다고 할 수 있다.

👨‍💻 $F$ 검정

$F$ 검정의 가설

$H_0$: Y는 X에 대한 회귀식으로 설명할 수 없다.
$H_1$: Y는 X에 대한 회귀식으로 설명 가능하다.

$F\ score$

$F\ score$는 확률 이론에 따라 자유도가 $(p-1, n-p)$인 $F$ 분포를 따른다.

✍ $F$ 검정의 결론

$F$ 검정의 p-value가 0.05 미만일 때, 귀무가설 $H_0$는 기각되고,
'$Y$는 $X$에 대한 회귀식으로 설명 가능하다'는 대립가설 $H_1$이 채택되며,
최종적으로 추정된 회귀식은 적합하다는 결론이 도출된다.

📚 References

Regression Analysis | Risk Prep
Explained Sum of Squares (ESS) | Wikipedia
Residual Sum of Squares (RSS) | Wikipedia
선형 회귀 분석 | 예제와 함께하는 쉬운 통계