추정의 기준

최대가능도 추정량의 불변성

정리 4.1
$X_1,X_2,\ldots,X_n$을 확률밀도함수 $f(x;\theta),\ \theta\in \Omega$를 갖는 분포에서 얻은 랜덤표본이라고 하자. $\hat{\theta}_n$이 모수 $\theta$의 최대가능도 추정량이면, $\theta$의 함수인 $g(\theta)$에 대하여, $g(\hat{\theta}_n)$이 $g(\theta)$의 최대가능도 추정량이 된다.

$\\[30pt]$

예 4.13
정규분포에서 얻어진 랜덤표본으로 표준편차 $\sigma$의 최대가능도 추정량을 구할 때, $\sigma^2$을 모수로 두는 것이 미분이 좀 더 쉽다고 한다면 $\sigma^2$의 최대가능도를 먼저 구하고, 여기에 제곱근을 취하여 $\sigma$의 최대가능도 추정량을 구할 수 있다.

정규분포로부터 $\sigma^2$의 최대가능도 추정량은 $\hat{\sigma}^2=\sum_{i=1}^{n}(X_i-\bar{X}_n)/n$이다. 이제 $g(\sigma^2)=\sigma$의 최대가능도 추정량은

이다.

$\\[30pt]$

예 4.14
$X_1,X_2,\ldots,X_n$을 $\text{EXP}(\lambda)$로부터 얻은 랜덤표본이라고 하자. 지수함수의 최대가능도 추정량은 $\hat{\lambda}=\bar{X_n}$이다. 이 분포에서 나온 확률변수가 1보다 클 확률을 추정하는데 관심이 있다면

에 대한 추정량이 필요하고, 최대가능도 추정량의 불변성에 의하여 다음과 같다.

또한 $h(\lambda)=\lambda^2$이라면, 최대가능도 추정량은 다음과 같다.

추정의 기준

표본의 함수인 추정량도 확률변수이므로 확률분포를 살피는 것은 추정량의 성격을 파악하는데 도움이 된다.

예 4.15
$X_1,X_2,\ldots,X_n$을 $U(0,\ \theta)$로부터 얻은 랜덤표본이라고 하자. 이 때 모수 $\theta$의 최대가능도 추정량은 표본최댓값 $\bar{X}_n$이다. 추정량 $\bar{X}_n$의 확률밀도함수는 다음과 같다.

$\theta=1,\ n=5$인 경우 확률밀도함수는 다음과 같다.

이 확률밀도함수를 토대로 표본최댓값이 $x$보다 작으면 모든 관측값들이 $x$보다 작아야 하고, 모든 관착값들이 $x$보다 작으면 표본최댓값도 $x$보다 작다는 성질을 얻을 수 있다.

$\\[30pt]$

비편향추정량

정의 4.3
$T(X)$를 $g(\theta)$의 추정량이라고 할 때, 다음을 $T(X)$의 편향(bias)이라 하며,

$E[T(X)]-g(\theta)$

$E[T(X)]=g(\theta)$ (즉, 편향 = 0)를 $g(\theta)$의 비편향추정량이라고 한다.

추정량 $T(X)$의 분산은 다음과 같다.

$\text{Var}(T(X))=E[T(X)-E[T(X)]]^2$

$\\[30pt]$

예 4.17
$X_1,X_2,\ldots,X_{10}$을 $N(\mu,\sigma^2)$으로부터 얻은 랜덤표본이라고 할 때 $T_1(X)=\bar{X}_{10}$와 $T_2(X)=(X_1+X_2)/2$는

이므로 모두 모평균 $\mu$의 비편향추정량이다.

[풀이]

$\\[30pt]$

예 4.18
$X_1,X_2,\ldots,X_n$을 $U(0,\ \theta)$로부터 얻은 랜덤표본이라고 하자. 이 때 모수 $\theta$의 최대가능도 추정량은 표본최댓값 $\bar{X}_n$이다.

으로 비편향추정량이 아니다. 이 때

이라고 하면

이므로 $T_1(X)$은 $\theta$의 비편향추정량이다.

$\\[30pt]$

정리 4.2
모수의 함수 $g(\theta)$의 추정량 $T(X)$의 평균체곱오차(MSE)는

$\text{MSE}=\text{Var}(T(X))+(bias)^2$

을 만족한다.

[증명]

정리 4.2에 의하면 평균제곱오차를 작게하는 추정량은 편향의 절댓값과 분산 둘 다 작은 값을 가져야 한다.

$\\[30pt]$

4.4 최소분산 비편향추정량

정의 4.5
확률변수 $X_1,X_2,\ldots,X_n$의 결합 확률밀도함수가 $f(x_1,x_2,\ldots,x_n;\theta)$라고 할 때 함수 $g(\theta)$의 추정량 $T^{*}(X)$가 다음의 조건 (1), (2)를 만족시키면 이를 $g(\theta)$의 최소분산 비편향추정량이라고 한다.

$\begin{aligned} &1)\quad E[T^{*}(X)]=g(\theta) \\[10pt] &2)\quad \text{Var}(T^{*}(X))\le \text{Var}(T(X)) \end{aligned}$

$g(\theta)$의 최소분산 비편향추정량을 구하는 데는 다음의 두 가지 방법이 가능하다.

1. 크래머-라오 하한값
   - $T(X)$의 분산이 적절한 조건하에서 비편향추정량이 가질 수 있는 분산의 하한값.

2. 라오-블랙웰 정리와 레만-쉐페 정리 (완비 충분통계량 활용)

$\\[20pt]$

크래머-라오 방법
적절한 조건하에서 비편향추정량이 가질 수 있는 분산의 하한값을 제공하는데 이는 어떠한 비편향추정량도 이보다 작은 분산을 가질 수 없기 때문에 이 추정량이 최소분산 비편향추정량이 된다.

크래머-라오 방법을 이해하기 위하여 우선 정보부등식에 사용되는 피셔의 정보 $I(\theta)$에 대해 알아야 한다.

$I(\theta)$의 값이 작을수록 정보량이 작아지면서 최소분산이 될 확률이 적어진다.

$\\[30pt]$

예 4.21
$X\sim N(\mu,\sigma_0^2)$ ($\sigma_0^2$은 알려진 값)이라고 할 때, 확률밀도함수는

이며, 로그-확률밀도함수와 1차 도함수는

따라서

이다.

• $\sigma_0^2$가 크면 클수록 하나의 관찰값 $X$가 모평균 $\mu$에 대하여 가지는 정보는 작아짐

• $I(\mu)$가 $\mu$의 값에 의존하지 않음.

$\\[20pt]$

위를 토대로

이라고 하자. $\mu$를 추정하기 위해 $X$나 $Y$를 이용할 수 있다면 $X$를 쓰는 것이 더 나을 것이다. 왜냐하면 $X$의 분산이 작기 때문에(정보량 큼) 관측값이 $\mu$에 가까이 있을 확률이 더 높기 때문이다. 이와 같이 정규분포의 경우 분산이 작으면 관측값이 모평균에 대하여 가지는 정보가 커진다는 것이 타당해 보인다.

$\\[30pt]$

예 4.22
$X$가 성공 확률이 $p$인 베르누이 확률변수라고 하자.

가 된다. 따라서 피셔의 정보는 다음과 같이 계산된다.

• $p=1/2$일 때 피셔의 정보가 가장 작음
• 정규분포와 마찬가지로 피셔의 정보는 분산의 역수이므로 분산이 작은 베르누이 확률변수가 그 평균에 대한 정보를 더 많이 가지고 있다고 말할 수 있다.

$\\[30pt]$

정리 4.3
$X_1,X_2,\ldots,X_n$이 확률밀도함수가 $f(x;\theta),\ \theta\in\Omega$인 분포로부터 얻은 랜덤표본이라고 하자. 그러면 $g(\theta)$의 비편향추정량 $T(X)=T(X_1,X_2,\ldots,X_n)$의 분산에 대한 부등식은 다음과 같이 주어진다.

모든 $\theta\in\Omega$에 대하여 $\text{Var}(T(X))<\infty,\ E(T(X))=g(\theta),\ 0<I(\theta)<\infty$라고 하면, $g(\theta)$는 미분가능하며 다음이 성립한다.

$\text{Var}(T(X))\ge\dfrac{[g'(\theta)]^2}{nI(\theta)}$

$T(X)$가 $g(\theta)$형태가 아닌 $\theta$의 비편향추정량이라고 한다면 위 정리로부터

$\text{Var}(T(X))\ge\dfrac{1}{nI(\theta)}$

을 얻을 수 있다. 그러므로 어떤 비편향추정량 $T(X)$의 분산이 $\dfrac{1}{nI(\theta)}$이라면 이 추정량은 $\theta$의 최소분산 비편향추정량이다.
$\\[10pt]$

위와 같은 결론을 내기 위해 우선 확률밀도함수 $f(x;\theta)$와 $T(X)$에 대해 다음과 같은 가정을 한다 (정보부등식).

$\\[10pt]$
1. 모수가 다르면 확률밀도함수가 다르다.

$f(x;\theta)\neq f(x;\theta')\quad(\theta\neq\theta')$

$\\[10pt]$
2. 집합 $A=\{x;f(x;\theta)>0\}$는 모수 $\theta$에 의존하지 않으며, 모든 $x\in A$, $\theta\in\Omega$에 대하여 $\text{log } f(x;\theta)$는 $\theta$에 대해 두번 미분 가능하고 도함수>$\\[10pt]$
3. 통계량 $T(X)$가 모든 $\theta\in\Omega$에 대하여 $E(T(X))<\infty$이면 다음과 같다.

$\begin{aligned} \dfrac{\partial}{\partial\theta}&\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}T(x_1,x_2,\ldots,x_n)\prod_{i=1}^{n}f(x_i;\theta)dx_1\cdots dx_n \\[10pt] &=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}T(x_1,x_2,\ldots,x_n)\dfrac{\partial}{\partial\theta}\prod_{i=1}^{n}f(x_i;\theta)dx_1\cdots dx_n \end{aligned}$

$\\[30pt]$

예 4.23
$X_i\sim POI(\lambda)$로부터 구한 랜덤표본이라고 하자. 우선 피셔의 정보 $I(\lambda)$를 계산하면 다음과 같다.

그런데 $\text{Var}(\bar{X}_n)=\lambda/n$이므로 표본평균 $\bar{X}_n$는 최소분산 비편향추정량이다.

$\\[30pt]$

예 4.24
$X_i\sim N(\mu,\sigma^2)$로부터 구한 랜덤표본이라고 하자. 이 때 피셔의 정보 $I(\mu)=1/\sigma^2$이고 $\text{Var}(\bar{X}_n)=\sigma^2/n$이므로 $\bar{X}_n$는 최소분산 비편향추정량이다.

---

[참고문헌]

• 수리통계학 제 5판 - 송성주, 전명식