최대 우도 추정량의 성질

정칙조건

정칙조건은 이론/논리적 전개의 용이성을 위해 가정하는 조건들을 의미한다.

1. 확률 함수들은 $\theta$에 대해 단사다. 즉 $\theta \neq \theta '$이면 $f(x_i; \theta) \neq f(x_i; \theta ')$이다.

2. 확률 함수들은 가능한 모든 $\theta$에 대해 동일한 서포트를 가진다.

3. 실제 모수 값 $\theta_0$는 모수 공간 $\Omega$의 interior point다. 따라서 어떤 양수 $\epsilon$이 존재해서 $(\theta_0 - \epsilon, \theta_0 + \epsilon) \subset \Omega$를 만족한다.

최대 우도 추정량의 점근적 수렴

우리는 표본이 점점 커질수록 모집단과 성질이 비슷해질 것을 기대한다.
최대 우도 추정법에 이 가정을 적용시키면 표본이 점점 커질수록 실제 모수에서의 우도 함수 값이 다른 모수를 가정했을 때의 우도 함수 값보다 클 것을 기대할 수 있다. 그래야 실제 모수의 우도 함수 값이 최댓값이 되어 올바른 모수 추정이 가능하기 때문이다.

이 성질을 수식으로 나타내면 다음과 같다.

이는 표본이 커질수록 실제 모수의 분포 하에서 $L(\theta_0) > L(\theta)$의 사건이 벌어질 확률은 1로 수렴할 것을 의미한다. 따라서 표본 크기가 매우 커지면 위에서 기대했던 실제 모수에서의 우도 함수 값이 다른 가정된 모수에서의 우도 함수 값보다 거의 항상 클 것을 기대할 수 있다.

증명)

최대 우도 추정량의 불변성(Invariance property)

함수 $g: \Omega \rightarrow Λ$가 역함수가 존재하는 전단사 함수라고 하자.
$\hat{\theta}_n$이 모수 $\theta$에 대한 MLE라면, $g(\hat{\theta}_n)$은 모수 $g(\theta)$에 대한 MLE다.

증명)
$\phi = g(\theta)$라고 하자. $g$가 일대일 대응이기 때문에 모든 $\phi$에 대해 어떤 $\theta$가 유일하게 존재해 $\theta = g^{-1}(\phi)$를 만족한다.

우리가 찾으려고 하는 것은 $\phi$의 우도 함수를 최대로 만드는 $\hat{\phi} = \hat{g(\theta)}$를 찾는 것이다.

$\phi$의 우도 함수를 $L'(\phi;x) = L(g^{-1}(\phi);x)$로 정의하자.
그렇다면 $\phi$의 MLE는 $\hat{\phi}_n = argmax_\phi L'(\phi;x) = argmax_\phi L(g^{-1}(\phi);x)$가 된다.

따라서 $\hat{\phi}_n$은 어떤 $\theta = g^{-1}(\phi)$가 $L$을 최대화 할 때의 $\phi$값이므로, $\hat{\theta}_n = g^{-1}(\hat{\phi}) \Rightarrow \hat{\phi}_n = g(\hat{\theta}_n)$임을 알 수 있다.

최대 우도 추정량의 일관성(Consistency)

최대 우도 추정량은 consistent estimator다. 즉 $\hat{\theta_n}$이 실제 모수 $\theta_0$의 최대 우도 추정량이면 일관성의 정의에 따라 $\hat{\theta_n}$은 $\theta_0$으로 확률 수렴한다.

증명 스케치)
$\theta_0$는 모수 공간 $\Omega$의 내부점이다. 따라서 어떤 $\epsilon > 0$가 존재해서 $(\theta_0 - \epsilon, \theta_0 + \epsilon) \subset \Omega$를 만족한다.
사건 $S_n$ = $\{X| l(\theta_0) > l(\theta-\epsilon)\} \cap \{X|l(\theta_0) > l(\theta_0 + \epsilon)\}$으로 정의하자. $S_n$은 $\theta_0$에서의 우도 함수의 값이 근방의 우도 함수 값보다 큰 사건을 의미한다.

위에서 살펴본 추정량의 점근적 수렴 성질에 따라 사건 $S_n$의 모수가 $\theta_0$인 분포에서의 확률, 즉 $P(S_n)$은 점근적으로 1에 수렴한다. 따라서 $\lim \limits_{n \to \infin} P(S_n) = 1$이다.

$\hat{\theta_n}$이 $|\hat{\theta_n} - \hat{\theta_0}| < \epsilon$이고 $l'(\hat{\theta_n}) = 0$을 만족하는 극대점에서의 $\theta$값이라고 하자.

$S_n$은 $\theta - \epsilon$과 $\theta + \epsilon$ 사이에 극대점이 있을 것을 보장한다.
따라서 $S_n \subset \{X||\hat{\theta_n} - \hat{\theta_0}| < \epsilon, l'(\hat{\theta_n}) = 0\}$이므로 $P(S_n) \le P(\{X||\hat{\theta_n} - \hat{\theta_0}| < \epsilon, l'(\hat{\theta_n}) = 0\})$이다.

이 때 $P(S_n) \rightarrow 1$이므로 $\lim \limits_{n \to \infin}P(\{X||\hat{\theta_n} - \hat{\theta_0}| < \epsilon, l'(\hat{\theta_n}) = 0\})=1$이다. 따라서 $\hat{\theta_n} \rightarrow^P \theta_0$이다.