Variation and Prediction Intervals

http://math.oxford.emory.edu/site/math117/explainedVariation/ 참고하였습니다.

Explained and unexplained variation

Sample point (x,y)에 대하여 $\hat{y}$는 $y$의 prediction 값이고, $\bar{y}$는 $y$의 평균이라 한다.

• $\hat{y}$ = Prediction of $y$
• $\bar{y}$ = Mean of $y$

1. Total Variation

Total Variation = $\sum(y-\bar{y})^2$

2. Explained Variation

Explained Variation = $\sum(\hat{y}-\bar{y})^2$

• x, y의 관계는 explained variation으로 설명될 수 있음.
• 알고있는 $\bar{y}$가 있기 때문에 설명할 수 있는 것.
• 실제 값과 예측값의 차이 정도로 해석

3. Unexplained Variation

Unexplained Variation = $\sum(y-\hat{y})^2$

• x, y의 관계는 unexplained variation으로는 설명할 수 없음.
• Explained Variation과는 다르게 $\bar{y}$를 모르고, 단순 prediction 값인 $\hat{y}$ 과의 계산을 하므로 설명할 수 없는 것.

Total Variation = Explained Variation + Unexplained Variation

Coefficient of Determination

The coefficient of determination $r^2$: Explained Variation과 Total Variation의 비율

$r^2 = \frac{\text{explained variation}}{\text{total variation}}$

Correlation Coefficient
= $\sqrt{\text{coefficient of determination}}$
= $r$
= $\frac{\text{Cov}(X,Y)}{\sigma(X)\sigma(Y)}$ (공분산을 표준편차로 나눈 값 )