Rao-Cramer Lower Bound(RCLB) and Efficiency

김짝뚜·2023년 10월 8일

Mathematical Statistics

목록 보기
6/6

Rao-Cramer Lower Bound는 어떤 불편추정치의 분산의 lower bound를 나타낸다.
regularity condition 하에서 MLE(Maximum Likelihood Estimate)의 분산은 이 lower bound로 점근적으로 근사된다.

regularity condition은 다음과 같다.

  • (R0) PDF들이 distinct하다. 즉, θ≠θ′⇒f(xi;θ)≠f(xi;θ′)\theta \ne \theta^{\prime} \Rightarrow f(x_i;\theta)\ne f(x_i;\theta^\prime)
  • (R1) PDF들은 모든 θ\theta에 대해 공통된 support를 가진다.
  • (R2) 어떤 한 점 θ0\theta_0는 Ω\Omega의 내부 점(interior point)이다.
  • (R3) PDF f(x;θ)f(x;\theta)는 θ\theta의 함수로써 2번 미분 가능하다.
  • (R4) 적분값 ∫f(x;θ)dx\int f(x;\theta)dx는 θ\theta의 함수로써 2번 미분 가능하다.

조건 (R1)-(R4)는 모수 θ\theta가 f(x;θ)>0f(x;\theta)>0인 구간의 endpoint에 있지 않다는 걸 의미하고, θ\theta에 대해서 미분과 적분이 교환 가능하다.

1=∫−∞∞f(x;θ)dx1 = \int_{-\infty}^{\infty} f(x;\theta)dx

에서 양변을 θ\theta에 대해 미분하면

0=∫−∞∞∂f(x;θ)∂θdx0 = \int_{-\infty}^{\infty} \frac{\partial f(x;\theta )}{\partial\theta}dx

이다. 이 식은 다음과 동일하다.

0=∫−∞∞∂f(x;θ)∂θf(x;θ)f(x;θ)dx0 = \int_{-\infty}^{\infty} \frac{\partial f(x;\theta)}{\partial \theta}\frac{f(x;\theta)}{f(x;\theta)}dx

즉,

0=∫−∞∞∂log⁡f(x;θ)∂θf(x;θ)dx0 = \int_{-\infty}^{\infty} \frac{\partial \log f(x;\theta)}{\partial \theta}f(x;\theta)dx

이다. 이 식을 기댓값을 이용하여 표현하면

E[∂log⁡f(X;θ)∂θ]=0\mathbb E \left [ \frac{\partial \log f(X;\theta)}{\partial \theta}\right ]=0

따라서 확률변수 ∂log⁡f(X;θ)∂θ\frac{\partial \log f(X;\theta)}{\partial \theta}의 평균은 0이다.
이 식을 다시 미분하면

0=∫−∞∞∂2log⁡f(x;θ)∂θ2f(x;θ)dx+∫−∞∞∂log⁡f(x;θ)∂θ∂log⁡f(x;θ)∂θf(x;θ)dx0 = \int_{-\infty}^{\infty} \frac{\partial ^2 \log f(x;\theta)}{\partial \theta^2}f(x;\theta)dx + \int_{-\infty}^{\infty} \frac{\partial \log f(x;\theta)}{\partial \theta}\frac{\partial \log f(x;\theta)}{\partial \theta}f(x;\theta)dx

이다. 여기서 우변을 기댓값으로 표현할 수 있으며 아래와 같다.

∫−∞∞∂log⁡f(x;θ)∂θ∂log⁡f(x;θ)∂θf(x;θ)dx=E[(∂log⁡f(X;θ)∂θ)2]=I(θ)\int_{-\infty}^{\infty} \frac{\partial \log f(x;\theta)}{\partial \theta}\frac{\partial \log f(x;\theta)}{\partial \theta}f(x;\theta)dx = \mathbb E \left [ \left ( \frac{\partial \log f(X;\theta)}{\partial \theta}\right )^2 \right ] = I(\theta)

I(θ)I(\theta)를 Fisher Information이라 부른다.
Fisher Information을 바로 위 식에 대입하면 I(θ)I(\theta)는 또 아래와 같이 계산된다.

−∫−∞∞∂2log⁡f(x;θ)∂θ2f(x;θ)dx=I(θ)=−E[∂2log⁡f(X;θ)∂θ2]-\int_{-\infty}^{\infty} \frac{\partial ^2 \log f(x;\theta)}{\partial \theta^2}f(x;\theta)dx =I(\theta) = -\mathbb E \left [ \frac{\partial ^2 \log f(X;\theta)}{\partial \theta^2} \right ]

위 식들로 확률변수 ∂log⁡f(X;θ)∂θ\frac{\partial \log f(X;\theta)}{\partial \theta}의 분산이 Fisher Information이 되는 것을 알 수 있다.
즉,

I(θ)=Var(∂log⁡f(X;θ)∂θ)I(\theta) = Var\left ( \frac{\partial \log f(X;\theta)}{\partial \theta}\right )
profile
김짝뚜
안녕하세요
이전 포스트

Measures of Quality of Estimators

0개의 댓글