📊 회귀모형 진단

모형을 적합할 때 일단 모형에 대해 여러 가정을 하고 시작한다. 반응 변수와 설명 변수는 선형적 관계를 갖고 있을 것이다와 같은. 그런데 실제 데이터들은 이러한 가정들이 맞지 않은 경우가 다수 있다. 따라서 적합한 모형의 F-statistics, p-value가 어떻든 간에 만든 회귀모형에 대하여 별도의 진단을 할 필요가 있다. 진단의 종류는 크게 2가지로 나눌 수 있는데, 모형 진단과 자료 진단이다. 모형 진단은 해당 모형 및 가정에 문제점이 있는지 알아보는 것이다. 자료 진단은 특정 값이 모형에 끼치는 영향을 알아보는 것이다. 자료의 조그만 변화가 모형의 추정에 어떤 영향을 끼치는지 검정하여 이상값, 영향력이 큰 값 등을 검출할 수 있다.
회귀모형 진단에서는 추정값과 실제 값의 차이인 잔차가 핵심적인 통계량으로 사용된다.

모형 진단에서는 대표적으로 다음의 세가지 가정을 검정한다.

1. 오차의 등분산성
   • 모든 X값에 대해서 Y의 오차가 동일한 분산을 갖고 있다.
2. 오차의 정규성
   • 모든 X값에 대해서 Y의 오차가 정규 분포(N~(0,1))를 따른다.
3. 모형의 선형성
   • X와 Y는 선형 관계를 갖고 있다.

하지만 실제 데이터에서는 분산이 달라지고, 정규성을 띄고 있지 않고, 비선형적 관계를 갖는 경우가 있다. 가정이 만족되지 않을 수 있지만, 이런 가정에 크게 벗어난 경우 모형의 타당성이 떨어지기 때문에 진단이 필요하다.

보편적으로 표준화된 잔차 (studentized residual)를 Y축으로 하고 추정된 Y(\hatY)를 X축으로 하는 잔차산점도를 그려보면 어느정도 타당성을 파악할 수 있다. 모형에 문제가 있거나 가정이 위배되었다면 잔차는 잔차산점도에 영향을 줄 것이다.

표준화 잔차 r은 N(0, 1)의 정규분포를 따른다. 따라서, 오차가 정규분포를 따른다는 가정을 만족한다면 95%의 잔차는 -2에서 2 사이에 존재해야 한다. 99.7%는 -3에서 3 사이에 존재한다. 1000개의 r이 있다면, 3개 이상의 잔차가 -3~3 구간 밖에 존재한다면 정규성이 없다고 판단할 수 있을 것이다.

(질문)
170쪽 제 6장 모형의 진단
분산의 일정이지 않음이 실제로는 특이점(outlier)에 의해 발생할 수도 있다. 대개 이러한 점들은 모수추정에 많은 영향을 끼치는 영향력 있는 관측값으로 잔차는 대개 작은 값을 취한다.(??) 그림을 통한 오차의 등분산성을 찾아내는 데는 주관적이고 경험적인 판단이 필요한 경우가 많은데 이러한 점을 보완하는 통계적인 방법으로 스코어 검정을 실시하는 것이 좋다.