라오-블랙웰 정리 (Rao Blackwell Theorem)

1. 라오-블랙웰 정리

$\hat{\eta}$ : Estimator for $\eta(\theta)$
$Y = U(X)$ : Sufficient Statistic for $\theta$
$\hat{\eta}^{\star} = \mathbb{E}_{\theta}[\hat{\eta}|Y]$ 라고 하자.

이때, 다음이 성립한다.

$\mathbb{E}_{\theta}(\hat{\eta}^{\star}) = \mathbb{E}_{\theta}(\hat{\eta}) \\ Var(\hat{\eta}^\star) \leq Var(\hat{\eta})$

2. 라오-블랙웰 정리의 의미

• 라오-블랙웰 정리는 어떤 추정량이 있을때, 충분통계량에 대한 조건부 기댓값을 취함으로써 더 좋은 추정량을 만들 수 있음을 뜻한다.
• 더 좋다는 뜻은 MSE의 관점에서 좋다는 것이다. 기댓값이 동일하기 때문에 Bias는 커지지 않지만, Variance는 작아진다. 만약 이 추정량이 불편추정량이라면 불편성은 훼손되지 않은채로 자연스레 분산이 더 작아진 추정량이 되는 것이다.

3. 충분통계량이라는 조건

• 충분통계량이 아니면 벌어지는 일은 무엇일까? 엉뚱한 질문같지만 다음과 같은 일이 일어난다.
• 충분통계량이 아닌 통계량을 $Z$라 하자. 과연 추정량 $\hat{\eta}$에 $Z$에 대한 조건부 기댓값을 취해도 라오-블랙웰 정리가 성립할까?
• 라오-블랙웰 정리에서 충분통계량이라는 조건이 주어진 이유는 다음과 같은 예시로 알아볼 수 있다.

$Z \perp X$이고 $\mathbb{E}_{\theta}(\hat{\eta}) = \theta$라고 하자. 그러면 $\hat{\eta}^\star(X) = \mathbb{E}[\hat{\eta}|Z] = \theta$ 이므로, $\hat{\eta}^\star$는 $\theta$의 추정량이 되지 못한다. (모수에 의존하므로..).

Reference

Hogg et al. (2021). Introduction to Mathematical Statistcs(8th Edition)
강기훈, 박진호. (2015). 수리통계학 : R을 이용한 실습