[Estimation] Consistency, Unbiasedness, Efficiency

1. Consistency (일관성)

어떤 estimator가 ‘consistency estimator’라는 것의 의미
: Sample size가 커질수록, estimator가 parameter 값에 점점 가까워진다는 것

즉, sample size가 무한대로 증가할 때, estimator가 parameter에 수렴하는 특성을 ‘Consistency’라고 한다.

• 수학적 정의: 추정량 $\hat{\theta}_n$이 모수 $\theta$의 consistency estimator라는 것은, sample size $n$이 무한대로 갈 때 $\hat{\theta}_n$이 $\theta$로 확률 수렴한다는 것을 의미
  $\hat{\theta}_n \xrightarrow{p} \theta \quad (n \to \infty)$

2. Unbiasedness (불편성)

어떤 estimator가 ‘unbiased estimator’라는 것의 의미
: Estimator의 기대값이 parameter 값과 같다는 것

즉, estimator가 실제 parameter 값보다 일관되게 더 크거나 작게 나오지 않는 성질을 ‘Unbiasedness’라고 합니다.

• 수학적 정의: 추정량 $\hat{\theta}$가 모수 ${\theta}$의 unbiased estimator라면, estimator의 기대값이 parameter 값과 동일
  $\mathbb{E}[\hat{\theta}] = \theta$

3. Efficiency (효율성)

어떤 estimator가 ‘efficient estimator’라는 것의 의미
: 동일한 parameter를 추정하는 여러 unbiased estimator 중에서 분산이 가장 작다는 것

즉, 효율적인 추정량은 가장 정확한 추정량을 제공하는 추정량입니다.

More efficient estimator는 Cramér-Rao lower bound를 달성하기 위해, (less efficient one에 비해) 더 적은 input data(또는 observation)을 필요로 한다.

• 수학적 정의: 두 unbiased estimator $\hat{\theta}_1$과 $\hat{\theta}_2$가 있을 때, $\hat{\theta}_1$의 분산이 $\hat{\theta}_2$의 분산보다 작으면 $\hat{\theta}_1$이 ‘More efficient estimator’

• Efficiency의 개념을 공식화한 것이 Cramér-Rao lower bound로, 이는 어떤 estimator도 그 lower bound를 초과할 수 없음을 나타낸다.