자유도 (Degree of Freedom)
품질경영기사 때도, 데이터 분석을 배우면서 자유도라는 개념을 접했다.
그저 자유도는 n-1이다 라는 정도로만 기억하고 있는데, 도대체 자유도가 무슨 개념이지? 왜 자유도라고 하는 것이지?가 궁금해져 찾아보았다.
정의
위키백과 : 통계학에서 자유도(自由度, degrees of freedom,df)는 통계적 추정을 할 때 표본자료 중 모집단(x)에 대한 정보를 주는 독립적인 자료의 수를 말한다.
네이버 : 표본을 구성하고 있는 개별요소 중 주어진 조건하에서 통계적 제한을 받지 않고 자유롭게 변화될 수 있는 요소의 수
나무위키 : 추정해야 할 미지수의 개수를 내가 가진 정보의 수에서 뺀 값
쉬운 설명
자유도는 쉽게말하면, 주어진 수식 내에서 우리가 자유롭게 선택할 수 있는 값이라 할 수 있다.
x1 + x2 + x3 = 10
위 수식에서 x1 = 3, x2 = 2 와 같이 2개의 임의의 수를 자유롭게 선택할 수 있다.
x2 = 5000, x3 = 10000 이런 선택도 가능하다
이렇게 두 수를 선택하면 자연히 남는 한 변수는 다른 두 변수의 의해 값이 고정된다.
첫번째 경우에서 x3 = 5, 두번째 경우에서 x1 = -14990이다.
이렇게 자유롭게 선택할 수 있는 변수가 2개이기 때문에, 이 경우에 자유도는 2이다.
대부분의 통계 계산에서 자유도가 n-1인 이유가 여기에 있다.
표본의 수 n-1개까지는 자유롭게 변화가 가능하지만, 나머지 1개는 고정되기 때문이다.
네이버의 표본을 구성하고 있는 개별요소 중 주어진 조건하에서 통계적 제한을 받지 않고 자유롭게 변화될 수 있는 요소의 수 설명이 이와 유사하다.
독립 개념
여기서 x1, x2는 서로 아무런 관련이 없다. 즉, 독립이다.
반면 x3는 x1, x2에 의해 결정되는 종속변수이다.
위키백과의 설명 통계적 추정을 할 때 표본자료 중 모집단(x)에 대한 정보를 주는 독립적인 자료의 수를 말한다.에서 독립적인 자료가 바로 x1, x2를 가리키는 말이다.
추정치 개념
x1, x2, x3가 표본 데이터라고 하자.
평균 x-bar는 x1, x2, x3에 의해 만들어진 모수의 추정치이다.
여기서 자유도는 내가 알고있는 데이터(x1, x2, x3)의 수 3에서
추정치(x-bar, 또는 m)의 수 1을 뺀
2라는 결과가 나온다.
나무위키의 설명 추정해야 할 미지수의 개수를 내가 가진 정보의 수에서 뺀 값은 이것과 비슷하다.
그러면 왜 추정치를 뺄까?
분산을 구하는 식에서 제곱을 제거한 수식은 아래와 같다.
x-bar 자체가 (x1 + x2 + x3) / 3에서 나온 것이므로 값이 무조건 0으로 고정된다.
즉 이 경우는 자유도가 0이라 할 수 있다. 추정치로 인해 수식의 자유도가 내려간 것이다.
대략적으로 추정치는 자유도에 악영향?을 주기 때문에 빼는 것이라 생각하자
자세히 알기 위해서는 선형대수학으 배워야한다(고 한다)
