점추정량의 성질과 추정방법

Wackerly et al., Mathematical Statistics with Applications을 읽고
책 내용을 정리하였습니다.

9.1 서론

9.2 상대 효율

상대적으로 효율적

$\hat{\theta}_1, \hat{\theta}_2$이 같은 모수 $\theta$에 대한 두 개의 비편향 추정량이라면
$V(\hat{\theta}_2) > V(\hat{\theta}_1)$이라면 $\hat{\theta}_1$이 $\hat{\theta}_2$보다 상대적으로 더 효율적(relatively more efficient)이다.

효율

분산이 각각 $V(\hat{\theta}_1)$, $V(\hat{\theta}_2)$인 모수 $\theta$의 두 비편향 추정량 $\hat{\theta}_1$과 $\hat{\theta}_2$이 주어졌다면 $\hat{\theta}_2$에 대한 $\hat{\theta}_1$의 효율(efficiency), eff($\hat{\theta}_1, \hat{\theta}_2$)은
eff($\hat{\theta}_1, \hat{\theta}_2$) = $\frac{V(\hat{\theta}_2)}{V(\hat{\theta}_1)}$

9.3 일치성

수렴(convergence)

$Y/n$은 확률변수이므로 확률용어로 $p$에 접근(closeness)라 표현

확률수렴

n이 크다면 아래 식의 확률은 1에 가까워야만 한다
$P(|\frac{Y}{n} - p| \leq \epsilon)$
$n \to \infin$일 때 이 확률이 1로 가면 $Y/n$은 $p$의 일치 추정량(consistent estimator) 혹은 $Y/n$은 $p$로 확률수렴(convergence in probability to p)한다고 한다.

일치추정량

만약 임의의 양수 $\epsilon$에 대하여
$lim_{n \to \infin}P(|\hat{\theta_n} - \theta| \leq \epsilon) = 1$
혹은
$lim_{n \to \infin}P(|\hat{\theta_n} - \theta| > \epsilon) = 0$
이라면
추정량 $\hat{\theta_n}$을 일치 추정량(consistent estimator)이라 한다.

비편향 추정량 -> 일치 추정량

$\theta$ 에 대한 비편향 추정량 $\hat{\theta_n}$은 만약
$lim_{n \to \infin}V(\hat{\theta_n}) =0$
라면 일치 추정량이다.

추정량의 일치성 증명을 위한 확률수렴 관련 정리

$\hat{\theta_n}$이 $\theta$로 확률수렴하고 $\hat{\theta_n}'$이 $\theta'$로 확률수렴한다고 가정
a. $\hat{\theta_n} + \hat{\theta_n}'$은 $\theta + \theta'$로 확률수렴
b. $\hat{\theta_n} \times \hat{\theta_n}'$은 $\theta \times \theta'$로 확률수렴
c. $\theta' \neq 0$이라면 $\hat{\theta_n} / \hat{\theta_n}'$는 $\theta / \theta'$로 확률수렴
d. $g(\cdot)$이 $\theta$에서 연속인 실수 값 함수라면 $g(\hat{\theta_n})$은 $g(\theta)$로 확률수렴

슬러츠키의 정리

$U_n$이 $n \to \infin$에 따라 표준정규분포로 수렴하는 분포함수를 갖는다고 하자
만약 $W_n$이 1로 확률수렴한다면 $U_n/W_n$의 분포는 표준정규분포함수로 수렴

9.4 충분성

충분 통계량

충분성을 갖는 통계량을 충분 통계량(sufficient statistics)이라고 한다.

충분

$Y$가 주어진 경우에 $X_1, X_2, ... X_n$의 조건부 분포가 $p$에 의존하지 않고
$Y$가 $p$에 관한 모든 정보를 포함하면 $Y$를 $p$에 대하여 충분(sufficient)라고 한다.

$Y_1, Y_2, ... Y_n$을 모수 $\theta$를 갖는 확률분포로부터의 확률표본이라 하면
통계량 $U = g(Y_1, Y_2, ..., Y_n)$은 $U$가 주어진 경우에 $Y_1, Y_2, ... Y_n$의 조건부 분포가 $\theta$에 의존하지 않는다면 $\theta$에 대하여 충분하다고 한다.

가능도

$y_1, y_2, ... y_n$을 모수 $\theta$에 의존하는 대응하는 확률변수 $Y_1, Y_2, ... Y_n$의 표본관측값이라 하자
그러면 만약 $Y_1, Y_2, ... Y_n$가 이산확률변수라면 표본 가능도 $L(y_1, y_2, ... y_n|\theta)$는 $y_1, y_2, ... y_n$의 결합확률로 정의된다
$Y_1, Y_2, ... Y_n$가 연속확률변수라면 표본 가능도 $L(y_1, y_2, ... y_n|\theta)$는 $y_1, y_2, ... y_n$에서 평가된 결합밀도로 정의된다

분해정리

$U$를 확률표본 $Y_1, Y_2, ... Y_n$에 기초한 통계량이라 한다. 그러면 $U$가 모수 $\theta$의 추정에 대하여 충분 통계량일 필요충분조건은
가능도 $L(\theta) = L(y_1, y_2, ..., y_n | \theta)$가 두 개의 음이 아닌 함수로 분해, 즉 $g(u, \theta)$가 오직 $u$와 $\theta$의 함수이고
$h(y_1, y_2, .., y_n)$가 $\theta$의 함수가 아닐 때,
$L(y_1, y_2, ..., y_n|\theta) = g(u, \theta) \times h(y_1, y_2, ..., y_n)$
이 된다.

9.5 라오-블랙웰 정리와 최소-분산비편향추정

라오-블랙웰 정리

$\hat{\theta}$를 $V(\hat{\theta}) < \infin$인 $\theta$에 대한 비편향 추정량이라 한다.
$U$가 $\theta$에 대한 충분 통계량이라면
$\hat{\theta}^* = E(\hat{\theta} | U)$라 정의한다.
그러면 모든 $\theta$에 대하여
$E(\hat{\theta}^*) = \theta, V(\hat{\theta}^*) \leq V(\hat{\theta})$ 이다.

최소충분통계량

모수 $\theta$에 대하여 자료에 있는 정보를 가장 잘 요약하는 통계량 $U$를 최소충분통계량(minimal sufficient statistics)이라 한다.

최소-분산 비편향 추정량

$U$를 사용하면 작은 분산을 갖는 비편향 추정량 뿐만 아니라 실제로 최소분산을 갖는 $\theta$에 대한 비편향 추정량을 얻을 수 있다는 것을 보장하는 다른 성질(완비성)을 가진 추정량

9.6 적률법

적률법

$t$를 추정해야 하는 모수의 수라 할 때, 식 $\mu_k' = m_k', k=1,2,... t$의 해가 되는 모수의 값을 추정값으로 선택한다.

장점

• 적용하기 쉽고 일치성을 갖는다
• 사용하기 쉽고 때로는 합리적인 성질을 갖는 추정량을 가져온다

단점

• 이 방법으로 유도된 추정량은 충분 통계량의 함수가 아닐 수 있다.
  -> 많은 경우에 적률법 추정량은 편향되어 있다.

9.7 최대가능도법

최대가능도법

가능도 함수가 $k$개의 모수 $\theta_1, \theta_2, ... \theta_k$에 의존한다고 가정
가능도 $L(y_1, y_2, ..., y_n| \theta_1, \theta_2, ..., \theta_k)$를
최대로 하는 모수의 값을 추정값으로 선택

장점

• 일치성을 갖는다
• 비편향이 되도록 조정된다면 최소분산 비편향추정량을 유도함

MLE의 불변성

$t(\theta)$가 $\theta$의 일대일 함수이고 $\hat{\theta}$이 $\theta$의 MLE라면 $t(\theta)$의 MLE는
$t(\widehat{\theta}) = t(\hat{\theta})$

9.8 최대가능도추정량의 대표본 성질(선택)

9.9 요약