연습문제

choyunjeong·2024년 12월 27일

연습문제 51

$X_1,X_2,\ldots,X_n$ 이 확률밀도함수 $f(x;\theta)$ 를 갖는 확률분포로부터의 랜덤표본일 때, 모수의 참값인 $\theta=\theta_0$ 에서 다음 식이 0임을 보여라.

적분과 미분의 순서를 바꿀 수 있다고 가정하면,

\begin{aligned} E\left(\left.\dfrac{d}{d\theta}\log f(X;\theta)\right|_{\theta=\theta_0}\right) &= \int_{-\infty}^{\infty}\left(\left.\dfrac{d}{d\theta}\log f(x;\theta)\right|_{\theta=\theta_0}\right) f(x;\theta_0)dx \\[20pt] &=\int_{-\infty}^{\infty}\dfrac{\left.\dfrac{d}{d\theta}f(x;\theta)\right|_{\theta=\theta_0}}{f(x;\theta_0)}f(x;\theta_0)dx \\[20pt] &=\int_{-\infty}^{\infty}\left.\dfrac{d}{d\theta}f(x;\theta)\right|_{\theta=\theta_0}dx \\[20pt] &=\left.\dfrac{d}{d\theta}\left(\int_{-\infty}^{\infty}f(x;\theta)dx\right)\right|_{\theta=\theta_0} \\[20pt] &=\left.\dfrac{d}{d\theta}(1)\right|_{\theta=\theta_0} \\[20pt] &=0 \end{aligned}

임을 알 수 있다. 따라서 $\theta_0$ 는

E\left(\left.\dfrac{d}{d\theta}\log f(X;\theta)\right|_{\theta=\theta_0}\right) =0

의 해가 된다.

$\\[40pt]$

$X_1,X_2,\ldots,X_n$ 이 확률밀도함수 $f(x;\theta)$ 를 갖는 확률분포로부터의 랜덤표본일 때, 모수의 참값인 $\theta=\theta_0$ 일때

\dfrac{1}{\sqrt{n}}\ell'(\theta_0)\xrightarrow{d} n(0,I(\theta_0))

을 보여라

$\ell(\theta)=\sum_{i=1}^{n}\log f(X_i;\theta)$ 이므로

\ell'(\theta)=\left.\sum_{i=1}^{n}\dfrac{d}{d\theta}\log f(X_i;\theta)\right|_{\theta=\theta_0}

이다. 이제 $Y_i$ 를 다음과 같이 정의하면

Y_i=\left.\dfrac{d}{d\theta}\log f(X_i;\theta)\right|_{\theta=\theta_0}

$Y_i$ 의 기댓값과 분산은 다음과 같다.

1) 기댓값

\begin{aligned} E(Y_i) &=\int_{-\infty}^{\infty}\left.\dfrac{d}{d\theta}\log f(X_i;\theta)\right|_{\theta=\theta_0}f(x;\theta_0)dx \\[15pt] &=\int_{-\infty}^{\infty}\dfrac{\left.\dfrac{d}{d\theta}f(X_i;\theta)\right|_{\theta=\theta_0}}{f(x;\theta_0)}f(x|\theta_0)dx \\[15pt] &=\int_{-\infty}^{\infty}\left.\dfrac{d}{d\theta}f(X_i;\theta)\right|_{\theta=\theta_0}dx \\[15pt] &=\left.\dfrac{d}{d\theta}\left(\int_{-\infty}^{\infty}f(X_i;\theta)dx\right)\right|_{\theta=\theta_0} \\[15pt] &=\left.\dfrac{d}{d\theta}(1)\right|_{\theta=\theta_0} \\[15pt] &=0 \end{aligned}

2) 분산

\begin{aligned} \text{Var}(Y_i)&=E(Y_i^2)-0^2 \\[15pt] &=E\left(\left.\dfrac{d}{d\theta}\log f(X_i;\theta)\right|_{\theta=\theta_0}\right)^2 \\[15pt] &=I(\theta_0) \end{aligned}

$Y_i$ 들은 서로 독립이며 같은 분포를 가지므로 중심극한정리에 의해

\dfrac{1}{\sqrt{n}}\ell'(\theta_0)=\sqrt{n}{\bar{Y}}\xrightarrow{d} n(0,I(\theta_0))