일치추정량

4.5 일치추정량

정의 4.9
모수의 함수 $g(\theta)$의 추정량 $T_n(X)=T(X_1,X_2,\ldots,X_n)$이 임의의 $\epsilon>0$에 대하여

$\lim_{n\rightarrow\infty}P(|T_n(X)-g(\theta)|\le\epsilon)=1$

을 만족하면 추정량 $T_n(X)$는 일치성이 있다고 한다.

$\\[20pt]$
예 4.40
$X_1,X_1,\ldots,X_n$을 $U(0,\theta)$로부터 얻은 랜덤표본이라고 하자. 이때 최대 가능도 추정량은

이다. 이제 모수 $\theta$의 추정량 $X_{(n)}$의 일치성에 대해 확인. 임의의 $\epsilon>0$에 대하여

이 성립한다. $0<\epsilon<\theta$이면 $n$이 커질 때

이므로 $P(|X_{(n)}-\theta|\le\epsilon)\rightarrow1$이 되고 $\epsilon\ge\theta$이면 모든 $n$에 대해 $P(|X_{(n)}-\theta|\le\epsilon)=1$이 되므로 표본최댓값 $X_{(n)}$은 $\theta$의 일치추정량이다.

$\\[30pt]$

정리 4.9
추정량이 일치성을 가질 조건을 평균제곱오차(MSE)를 이용하여 표현할 경우, $T_n(X)$를 $g(\theta)$의 추정량이라고 할 때, 모든 $\theta\in\Omega$에 대하여

$\lim_{n\rightarrow\infty}E[T_n(X)-g(\theta)]^2=0$

이 성립하면, $T_n(X)$는 일치성이 있다.

[증명]
확률부등식에 의하면 $X=T_n(X)-g(\theta),\ r=2,\ c=\epsilon$으로 놓을 때 (쳬비셰프 부등식)

이 성립한다. 이 때 좌변이 1이 성립할 때 일치성을 만족하기 때문에 $E[T_n(X)-g(\theta)]^2=0$인 경우 일치성이 성립한다.

$\divideontimes$ $\text{MSE}(T_n)=E[T_n(X)-g(\theta)]^2=\text{Var}(T_n)+[E(T_n)-g(\theta)]^2$이므로 $T_n$이 $g(\theta)$의 비편향추정량 $[E(T_n)-g(\theta)]=0$인 경우 맨 오른쪽 항이 0이므로 $\lim_{n\rightarrow\infty}\text{Var}(T_n)=0$이 성립하면 정리 4.9로부터 추정량 $T_n$의 일치성이 보장된다.

$\\[30pt]$

예 4.41
$X_1,X_2,\ldots,X_n$을 $\text{EXP}(\lambda)$로부터 얻은 랜덤표본이라고 하자. 이때 최대가능도 추정량 $\bar{X}_n$은 비편향추정량이며

이므로 $\bar{X}_n$는 일치추정량이다.

한편 $nX_{(1)}\sim \text{EXP}(\lambda)$이므로 $nX_{(1)}$은 $\lambda$의 비편향추정량이다. 하지만 $\epsilon<\lambda$인 $\epsilon>0$에 대해

로 $n$이 커질 때 1로 수렴하지 않으므로 일치추정량이 아니다.

$\\[30pt]$

정리 4. 10
$T_n$이 모수 $\theta$의 일치추정량이라고 할 때 $g(x)$가 $\theta$에서 연속인 함수이면 $g(T_n)$은 $g(\theta)$의 일치추정량이다.

$\\[30pt]$

정리 4. 11
$T_n$이 모수 $\theta_1$의 일치추정량이고 $S_n$이 모수 $\theta_2$의 일치추정량이라고 하자. 그러면 $c_n\rightarrow c$이고 $d_n\rightarrow d$ 인 실수열 $c_n,\ d_n$에 대해,

$c_nT_n+d_nS_n\xrightarrow{p}c\theta_1+d\theta_2$

이고,

$T_n/S_n\xrightarrow{p}\theta_1/\theta_2,\quad T_nS_n\xrightarrow{p}\theta_1\theta_2\ (\theta_2\neq 0)$

예 4.42

예 4.43

$\\[30pt]$

최대가능도 추정량의 점근적 성질

직접적으로 일치성을 입증하기 어려운 경우 적절한 조건하에서 점근적 성질을 이용한다면 최대가능도 추정량은 일치성을 가질 뿐 아니라 점근적으로 정규분포를 따르기 때문에 쉽게 근사적 구간추정과 검정이 가능하다.

정리 4.12
$X_1,X_2,\ldots,X_n$이 확률밀도함수 $f(x;\theta)$를 갖는 랜덤표본일 때 적절한 조건하에서 최대가능도 추정량 $\hat{\theta}_n$은 $\theta$의 일치추정량이다.

$\hat{\theta}_n\xrightarrow{p}\theta$

$\\[20pt]$
[풀이]

$X_1,X_2,\ldots,X_n$이 확률밀도함수 $f(x;\theta)$를 갖는 확률분포로부터 랜덤표본이고 $\hat{\theta}_n$이 $\theta$의 최대가능도 추정량이라고 하자. 로그가능도함수 $\theta$에 대한 1차 도함수는 $\hat{\theta}_n$에서 0이다.

그리고 로그 가능도함수의 1차 도함수는 대수의 법칙에 의해 다음이 성립한다.

이 때 양변을 0으로 하는 해는 각각 최대가능도 추정량 $\hat{\theta}_n$과 모수의 참값인 $\theta_0$이다$^{(1)}$. 따라서 적절한 조건에서

으로 수렴할 것으로 기대할 수 있다. 참고서적의 수준에서 적절한 조건은 $\theta$에 대해 여러 번 미분 가능한 경우로 충분하다고 정의했다.

• 대수의 법칙: https://velog.io/@choyun/convergence-approximation
• (1): https://velog.io/@choyun/commentary
  $\\[30pt]$

정리 4.13
$X_1,X_2,\ldots,X_n$이 확률밀도함수 $f(x;\theta)$를 갖는 랜덤표본이고 모수의 참값인 $\theta_0$일 때 적절한 조건하에서 최대가능도 추정량 $\hat{\theta}_n$는 점근적으로 정규분포를 따른다.

$\sqrt{n}(\hat{\theta}_n-\theta_0)\xrightarrow{d}N\left(0,\ \dfrac{1}{I(\theta_0)}\right)$

$\\[20pt]$

[풀이]

가능도함수 $L(\theta)$는 $X_i$들의 함수로서 그 자체가 확률변수이므로

는 서로 독립이고 분포가 같은 $n$개의 확률변수의 합으로 표현 가능하다. 모수의 참값이 $\theta_0$일 때, 로그가능도함수를 미분한 $\ell'(\hat{\theta}_n)$를 테일러 전개를 이용하여 처음 두 항만을 취하면

으로 나타낼 수 있다. $\hat{\theta}_n$이 $\theta_0$의 일치추정량이므로 $n$이 커질 때 두 값이 확률적으로 매우 가까우므로 테일러 전개에서 고차항들은 무시할 수 있다. $\ell'(\hat{\theta}_n)=0$이므로

과 같은 근사식을 얻을 수 있고, 이로부터

을 얻는다. 적절한 조건하에 대수의 법칙에 의해 분모는 다음과 같이 피셔의 정보량으로 확률수렴한다.

이 때 분자 $\dfrac{1}{\sqrt{n}}\ell'(\theta_0)\xrightarrow{d}N(0,\ I(\theta))$ 이므로$^{(2)}$,

슬럿츠키 정리와 정규분포 특징을 이용해 다음과 같은 최대가능도 추정량의 점근적 정규성을 보이 수 있다.

(2): https://velog.io/@choyun/commentary

$\\[30pt]$

예 4. 44
$X_1,X_2,\ldots,X_n$이 $\text{EXP}(\theta)$에서 관측되는 랜덤표본이라고 하자. $\theta$의 최대가능도 추정량은

으로부터 $\hat{\theta}_n=\bar{X}_n$이고,

이므로

이다. 그러므로 정리 4.13에 의해,

가 되고, 이것은 중심극한정리에서 얻은 결과와 동일하다.

---

[참고문헌]

• 수리통계학 제 5판 - 송성주, 전명식