자유도

김찬주·2023년 7월 5일

SS = Sum Squares of
MS = Mean Squares of
E = Error
R = Regression

자유도 = 설명에 사용되는 독립적인 정보 수

즉 n개의 데이터(표본!)가 있을 때 n-1개의 독립적인 정보가 있다면 변동성을 완전히 설명(해석) 가능하다
n개의 데이터가 가지는 총 자유도 수는 n-1, 나머지 1개는 데이터의 평균 추정에서 사용

예) 10개의 데이터가 있는데, 9개의 데이터에서 마지막 1개의 데이터의 역할은 평균을 내는데 완성시키는 것
평균을 안 다면 9개의 데이터만으로도 모든 분산항을 계산할 수 있음(편차의 합은 0이므로)

즉 n개의 데이터는 평균의 1 자유도와 분산의 n-1 자유도로 설명 가능하다

단순회귀분석이라면 y = a + bx에서
총 데이터(관측치)의 변동성(분산)의 자유도는 n-1
모델의 분산 자유도는 설명변수의 수 1,
잔차의 분산 자유도는 나머지인 n-2

즉 총 n개의 데이터에 대한 분산을 설명할 때,
모델은 설명변수 하나 당, 설명된 분산(SSR) / 1 = MSR을 가지고,
잔차에서는 앞으로 필요한 설명변수 하나 당, 설명되지 않은 분산(SSE)/필요한 독립 정보 수(n-2) = MSE를 가진다

다중회귀분석(설명변수가 k개인)에서는 SSR/k = MSR, SSE/n-k-1이 된다

F 통계량 값은 MSR/MSE 즉, 설명된 평균 분산 / 설명되지 않은 평균 분산이다.

0개의 댓글