Confidence Intervals

모수 $\theta$는 $\hat \theta = \hat \theta (X_1, \ldots, X_n)$으로 추정할 수 있다.
sample을 뽑았을 때, $\hat \theta$값은 모수의 true value는 아니다. 사실 $\theta$는 연속형 분포를 가질 때, $\mathbb P_{\theta} (\hat \theta = \theta) = 0$ 이다.

추정의 오차에 대한 추정치가 필요하다. 즉, $\hat \theta$가 $\theta$와 얼마나 다른가에 대한 측정이 필요하다. 이를 신뢰구간(confidence interval)로 추정해볼 수 있다.

신뢰구간의 정의는 아래와 같다.
$X_1, X_2, \ldots, X_n$이 pdf $f(x;\theta)$인 확률변수 $X$의 sample이라 하자. 그리고 0과 1 사이의 어떤 특정한 값인 $\alpha$가 있고, 두 통계량을 $L=L(X_1, X_2, \ldots, X_n)$과 $U=U(X_1, X_2, \ldots, X_n)$이라 해보자. 그러면

일 때, 구간 $(L,U)$를 $\theta$의 $(1-\alpha)100\%$ confidence interval이라 한다.
즉, $\theta$를 포함하는 구간의 확률이 $1-\alpha$이고, 이를 구간의 confidence coefficient라고 한다.

---

신뢰구간을 바탕으로 한 efficiency의 측정은 expected length로 한다.
예를 들어보자.
$\theta$에 대한 두 개의 신뢰구간 $(L_1, U_1)$과 $(L_2, U_2)$가 있고, 두 신뢰구간의 confidence efficient가 같다고 하자. 그 때,

이라면 $(L_2, U_2)$보다 $(L_1, U_1)$이 more efficient 하다.
다시 말하자면, 신뢰구간의 상한과 하한의 차이에 대한 기댓값이 더 작을수록 efficient하다는 것이다. 신뢰구간의 크기가 작을수록 좋다는 것이다.