최대가능도 추정법 2

choyunjeong·2024년 12월 13일

수리통계학 제 5판 - 송성주, 전명식

목록 보기
13/20

예 4.8

X1,X2,…,XnX_1,X_2,\ldots,X_n을 로지스틱 분포로부터 구한 랜덤표본이라고 하자. 로지스틱 확률밀도함수는

f(x;θ)=exp⁡{−(x−θ)})(1+exp⁡{−(x−θ)})2,−∞<x<∞, −∞<y<∞f(x;\theta)=\dfrac{\exp\{-(x-\theta)\})}{(1+\exp\{-(x-\theta)\})^2}, \quad -\infty<x<\infty,\ -\infty<y<\infty

가 되며, 로그가능도함수는

logL(θ)=∑i=1nlogf(xi;θ)=∑i=1nlog(exp⁡{−(xi−θ)}))+∑i=1nlog(1+exp⁡{−(xi−θ)})2=−nθ−nxnˉ−2∑i=1nlog(1+exp⁡{−(xi−θ)}))\begin{aligned} \text{log}L(\theta) &=\sum_{i=1}^{n}\text{log}f(x_i;\theta)\\ &=\sum_{i=1}^{n}\text{log}(\exp\{-(x_i-\theta)\}))+\sum_{i=1}^{n}\text{log}(1+\exp\{-(x_i-\theta)\})^2 \\ &=-n\theta-n\bar{x_n}-2\sum_{i=1}^{n}\text{log}(1+\exp\{-(x_i-\theta)\})) \end{aligned}

가 된다. 이를 θ\theta에 대해 미분하면

ddθlogL(θ)=n−2∑i=1nexp⁡{−(xi−θ)})1+exp⁡(−(xi−θ))=0\dfrac{d}{d\theta}\text{log}L(\theta)=n-2\sum_{i=1}^{n}\dfrac{\exp\{-(x_i-\theta)\})}{1+\exp(-(x_i-\theta))}=0

의 해는 간단한 폐쇄형이 존재하지 않으나 ddθlogL(θ)\dfrac{d}{d\theta}\text{log}L(\theta)는 θ\theta에 대해 단조감소하므로 θ→−∞\theta\rightarrow -\infty일 때 nn으로, θ→∞\theta\rightarrow \infty일 때 −n-n으로 접근하므로 유일해를 가진다는 것을 알 수 있다.

하지만 위 예시처럼 가능도함수가 항상 미분 가능한 것은 아니다.

\\[20pt]

예 4.9

X1,X2,…,XnX_1,X_2,\ldots,X_n을 U(0,θ)U(0,\theta)로부터 얻은 랜덤표본이라고 하자. 이 때 확률밀도함수는

f(x;θ)=1θf(x;\theta)=\dfrac{1}{\theta}

가 되며, 로그가능도함수는

L(θ)=∏i=1nf(xi;θ)={1θn0≤xi≤θ0otherwise\begin{aligned} L(\theta) &= \prod_{i=1}^{n}f(x_i;\theta) \\[15pt] &= \begin{cases} \dfrac{1}{\theta^n} & 0\le x_i\le \theta\\[15pt] 0 & \text{otherwise} \end{cases} \end{aligned}

이 되며, 모든 θ\theta에 대해 연속이 아니므로 모수 θ\theta에 대하여 미분 가능하지 않다. 이 경우, 미분을 하는 대신 가능도함수의 형태를 살펴보면 쉽게 취대가능도 추정량을 구할 수 있다. 최대가능도 추정량이 표본최댓값 X(n)X_{(n)}인 것은 그래프로부터 자명하다. (그래프 참조: p.195)
X(n)X_{(n)}의 확률밀도함수는 다음과 같이 구한다.

[F(x(n))]n=P[Xi≤x(n)]=(x(n)θ)n\begin{aligned} [F(x_{(n)})]^n &= P[X_i\le x_{(n)}] \\[5pt] &=\left(\dfrac{x_{(n)}}{\theta}\right)^n \end{aligned}
∴fX(n)(x(n))=ddx(n)[F(x(n))n]=ddx(n)[(x(n)θ)n]=n(x(n)θ)n−11θ=n(x(n))n−1θn\begin{aligned} \therefore f_{X_{(n)}}(x_{(n)}) &=\dfrac{d}{dx_{(n)}}[F(x_{(n)})^n] \\[10pt] &=\dfrac{d}{dx_{(n)}}\left[\left(\dfrac{x_{(n)}}{\theta}\right)^n\right] \\[10pt] &=n\left(\dfrac{x_{(n)}}{\theta}\right)^{n-1}\dfrac{1}{\theta} \\[10pt] &=n\dfrac{(x_{(n)})^{n-1}}{\theta^n} \end{aligned}

\\[20pt]

예 4.10

X1,X2,…,XnX_1,X_2,\ldots,X_n을 λ>0\lambda>0인 포아송 분포로부터 구한 랜덤표본이라고 하자. 로그가능도함수는

L(λ;x1,x2,…,xn)=∏i=1nf(xi;λ)=(exp⁡(−nλ)λ∑xi∏i=1nxi!)logL(λ;x1,x2,…,xn)=log{exp⁡(−nλ)}+log{λ∑xi}−log{∏i=1nxi!}=−nλ+∑i=1nxilogλ−log(∏i=1nxi!)\begin{aligned} L(\lambda;x_1,x_2,\ldots,x_n) &=\prod_{i=1}^{n}f(x_i;\lambda) =(\dfrac{\exp(-n\lambda)\lambda^{\sum x_i}}{\prod_{i=1}^{n}x_i!}) \\[20pt] \text{log}L(\lambda;x_1,x_2,\ldots,x_n) &=\text{log}\{\exp(-n\lambda)\} + \text{log}\{\lambda^{\sum x_i}\}-\text{log}\{\prod_{i=1}^{n}x_i!\} \\ &=-n\lambda + \sum_{i=1}^{n}x_i\text{log}\lambda-\text{log}\left(\prod_{i=1}^{n}x_i!\right) \end{aligned}

가 된다. 이를 λ\lambda에 대해 미분하면

ddλlogL(λ)=−n+∑i=1nxiλ=0\dfrac{d}{d\lambda}\text{log}L(\lambda)=-n+\sum_{i=1}^{n}\dfrac{x_i}{\lambda}=0

이고 Xnˉ>0\bar{X_n}>0일 때 λ\lambda의 최대가능도 추정량이 Xnˉ\bar{X_n}임을 보였다. 만약 랜덤표본에서 얻은 관측치 Xnˉ=0\bar{X_n}=0이었다면 1차 미분값이 항상 음의 값을 가지게 되는데, 이는 λ\lambda값의 범위는 개구간이므로 최대가능도 추정량은 존재하지 않는다. →\rightarrow 2차 미분도 하여 내용 추가

[참고문헌]

  • 수리통계학 제 5판 - 송성주, 전명식
profile
choyunjeong
이전 포스트

최대가능도 추정법

다음 포스트

추정의 기준

0개의 댓글