Sampling and Statistics

확률변수 $X$의 분포나 모수가 알려지지 않았을 때, 이들에 대한 정보는 $X$의 sample로부터 알 수 있다. sample이 실제로 추출되면 그 값들을 $x_1, x_2, \ldots, x_n$으로 표현하고 이를 sample의 realizations라고 한다.

sample의 정보를 요약하기 위해 sample을 이용한 함수를 사용하게 되는데, 이를 통계량으로 부른다. 정의는 아래와 같다.
$X_1, X_2, \ldots, X_n$을 확률변수 $X$의 sample이라 하고, $T=T(X_1, X_2, \ldots, X_n)$이 sample로 만든 함수라고 하면 $T$를 statistic(통계량)이라고 한다.

sample이 뽑히면 $t$를 $T$의 realization이라 하고 $t = T(x_1, x_2, \ldots, x_n)$이라 한다. 여기서 마찬가지로 $x_1, x_2, \ldots, x_n$은 sample의 realization이다.

조금 더 정확하게 하자면, $T$는 우리가 찾고자 하는 모수 $\theta$의 point estimator(점 추정량)이라 하고, realization $t$는 모수 $\theta$의 estimate(추정치)라고 한다.

점 추정량들에는 몇 가지 성질이 있다. 그 중 하나인 불편성에 대해 알아보자.

Unbiasedness(불편성)

정의는 아래와 같다.
$X_1, X_2, \ldots, X_n$을 pdf $f(x;\theta)$를 가지는 확률변수 $X$의 sample이라 하고 $T=T(X_1, X_2, \ldots, X_n)$을 통계량이라고 하자. 이때

를 만족하면 $T$를 $\theta$의 unbiased estimator라고 한다.