적률추정법

적률추정법

모수벡터가 $\theta = (\theta_1, ..., \theta_k)$인 확률분포에서 랜덤 표본 $X_1, ..., X_n$을 추출한다고 하자.

확률분포의 $r$차 모적률은 $E(X^r)$이다. 만약 MGF가 존재할 경우 $E(X^r) = \frac{d^r}{dt^r}M_X(t)|_{t=0}$이다.
표본 $X_1, ..., X_n$에 대한 $r$차 표본적률은 $m_r = \frac{\sum_{i=1}^n X_i^r}{n}$이다.

적률추정법의 중심 원리는 약한 대수의 법칙이다. 왜냐하면 $m_r$은 $X_i^r$의 표본평균으로 볼 수 있기 때문에, $m_r$은 $E(X^r)$으로 확률 수렴하기 때문이다.

예를 들어 $\theta = (\theta_1, \theta_2)$라고 하자. 분포의 모수가 두개이므로 1차 표본 적률과 2차 표본 적률을 모수에 관한 식으로 만들어 연립방정식을 $\theta_1, \theta_2$에 대해 풀 수 있다.

위 연립방정식을 풀면 해 $(\hat{\theta_1}, \hat{\theta_2})$를 구할 수 있고, 이를 $(\theta_1, \theta_2)$에 대한 적률추정량이라고 한다.

정규분포의 적률추정량

$X \sim N(\mu, \sigma^2)$이라고 하자. 정규분포는 모수가 2개이므로 1차적률과 2차적률을 이용해 적률추정량을 구한다.

$E(X) = \mu$이고, $E(X^2)-E(X)^2 = \sigma^2$에서 $E(X^2) = \mu^2 + \sigma^2$이다.
따라서 연립방정식을 다음과 같이 세운다.

따라서 모수 벡터 $(\mu, \sigma^2)$의 적률추정량은 $(\frac{\sum_{i=1}^n X_i}{n}, \frac{\sum_{i=1}^n (X_i - \bar{X_n})^2}{n})$이다.

감마분포의 적률추정량

$X \sim \Gamma(\alpha, \beta)$이라고 하자. 감마분포는 모수가 2개이므로 1차적률과 2차적률을 이용해 적률추정량을 구한다.

$E(X) = \alpha\beta$이고, $E(X^2)-E(X)^2 = \alpha\beta^2$에서 $E(X^2) = \alpha^2\beta^2 + \alpha\beta^2$이다.
따라서 연립방정식을 다음과 같이 세운다.

따라서 모수 벡터 $(\alpha, \beta)$의 적률추정량은 $(\frac{n\bar{X_n}^2}{\sum_{i=1}^n (X_i - \bar{X_n})^2}, \frac{\left(\frac{\sum_{i=1}^n X_i^2}{n}\right)-\bar{X_n^2}}{\bar{X_n}})$이다.