신뢰 구간 : 정의와 의미

신뢰 구간의 필요성

점 추정은 직관적이지만 추정량이 실제 모수와 동일할 가능성이 떨어진다. 점 하나로 다른 점을 맞추는 것이기 때문이다.

연속형 확률 변수의 경우에는 $P_\theta(\hat{\theta} = \theta) = 0$이다. 즉 모수가 $\theta$의 값으로 주어졌을 때 추정량이 모수와 같은 값일 확률이 0이라는 것이다. 연속형 확률 변수의 서포트가 실수의 일부라는 것을 생각하면 당연하다.

따라서 점으로 점을 맞추는 것이 아닌, 구간을 이용해 모수를 추정할 필요가 있다. 구간을 이용해 모수를 추정하는 대표적인 방법으로 신뢰 구간이 있다.

신뢰 구간의 정의/의미

확률 변수 $X$에 대한 랜덤 표본 $X_1, X_2, ..., X_n$이 있다고 하자.
그리고 신뢰 계수 $\alpha$가 $0 < \alpha < 1$을 만족하는 상수라고 하자.
마지막으로 $L$과 $U$를 $X$의 통계량이라고 하면, 신뢰구간을 다음과 같이 정의한다.

추정하려는 모수 $\theta$에 대해 $P_\theta(\theta \in (L, U)) = 1-\alpha$일 때,
$(L, U)$는 $\theta$의 $(1 - \alpha) \times 100\%$ 신뢰구간이다.

정의한 신뢰 구간의 의미를 살펴보자.
"(L, U)에 모수 $\theta$가 포함되는 사건"은 L과 U의 실현 값에 따라 발생할수도, 발생하지 않을수도 있다.
신뢰구간의 정의에 따라 $P_\theta(\theta \in (L, U)) = 1-\alpha$이므로, 위 사건의 발생 확률은 $1-\alpha$가 된다.

따라서 (L, U)가 모수를 포함하면 1, 포함하지 않으면 0을 가지는 베르누이 시행을 생각할 수 있다. 성공 확률은 $1-\alpha$이다.

이 시행을 $M$번 반복했을 때 모수를 포함하는 사건의 횟수는 $Binom(M, 1-\alpha)$를 따르는 확률 변수가 된다. 따라서 기댓값은 $M(1-\alpha)$가 된다.

이로부터 신뢰 구간의 직관적인 의미를 얻을 수 있다. 신뢰구간을 추출하는 횟수가 많아지면, 총 $M$번의 추출 중 $M(1-\alpha)$개의 신뢰구간은 모수를 포함할 것이라 기대할 수 있다.

예를 들어 $\alpha = 0.05$이면, $M$번의 추출 중 $0.95M$개의 신뢰 구간은 모수를 포함할 것이라 기대할 수 있다.

신뢰 구간의 효율성

모수 공간 $\Omega$의 모든 모수 $\theta$와 동일한 $\alpha$에 대해,
만약 $E_\theta[U_1 - L_1] \le E_\theta[U_2 - L_2]$이면 $(L_1, U_1)$이 $(L_2, U_2)$보다 효율적인 신뢰 구간이라고 한다.

동일한 모수 공간과 신뢰 계수에 대해 신뢰 구간의 길이가 짧을 수록 더 정밀한 추정이 가능하다.
신뢰 구간의 길이는 $L-U$로 계산되므로, 이의 기댓값이 작을수록 신뢰 구간의 길이가 작을 것이라 기대할 수 있다.

따라서 동일한 모수 공간과 동일한 신뢰 계수에 대해, 신뢰 구간들 중 구간 길이의 기댓값이 작을수록 효율적인 신뢰 구간이라고 한다.