🔵 질문

Likelihood-ratio statistic $G^2$이 왜 카이제곱 분포를 따르는가?
(특히 $G^2 = 2(\log L(\hat\theta) - \log L(\theta_0))$가 왜?)

---

🔵 전체 흐름

1. MLE는 점근적으로 정규분포를 따른다

표본 크기 $n$이 충분히 크면,
MLE $\hat\theta$는 진짜 모수 $\theta_0$ 주변에서 다음을 만족해:

여기서:

• $I(\theta_0)$는 Fisher Information Matrix (피셔 정보량).

즉,
MLE는 진짜 모수 근처에서 정규분포로 흔들린다.

---

2. 로그 가능도 함수의 Taylor 전개

이제 로그 가능도 $\ell(\theta) = \log L(\theta)$를 $\theta_0$ 주변에서 2차 Taylor 전개해보자:

그런데 대표본에서는 다음이 성립해:

• $\nabla \ell(\theta_0)$ (score function)는 평균이 0.
• $\nabla^2 \ell(\theta_0) \approx -I(\theta_0)$ (로그 가능도 이계미분은 피셔 정보량의 음수 근방).

그래서 위 전개는 거의 이렇게 돼:

(※ 부호 조심: 로그 가능도는 concave하니까 이계미분은 음수 방향이야.)

---

3. Likelihood-ratio statistic $G^2$ 구하기

Likelihood-ratio 통계량은 정의상:

위 Taylor 전개를 대입하면:

이건 뭐야?
정규분포 벡터의 이차형식(quadratic form)이야.

---

4. 정규분포 벡터의 이차형식은 카이제곱 분포를 따른다

아까 1번에서 본 것처럼:

그러니까 $(\hat\theta - \theta_0)$는 대략 분산 $1/n$ 크기의 정규분포야.

이걸 Fisher Information $I(\theta_0)$로 샌드위치하면:

여기서 $r$은 제약된 모형에서 자유도(모수 차이 수)야.

---

🔵 최종 결론

즉,
Likelihood-ratio statistic $G^2$는 자유도 $r$를 가진 카이제곱 분포로 수렴한다.

---

🔵 한 문장 요약

가능도비 통계량 $G^2$는 로그 가능도 함수의 2차 근사를 통해 정규분포 기반 이차형식(quadratic form)으로 나타나고, 이게 카이제곱 분포로 수렴한다.

---

🔵 직관 요약 표

구분	Pearson's $X^2$	Likelihood-ratio $G^2$
기본 아이디어	관측-기대 차이를 정규화 후 제곱합	로그 가능도 차이를 2배
형태	$\sum \frac{(n_{ij} - \mu_{ij})^2}{\mu_{ij}}$	$2 \sum n_{ij} \log \left( \frac{n_{ij}}{\mu_{ij}} \right)$
카이제곱 분포 수렴 이유	관측-기대 차이가 정규분포처럼 되어 제곱합이 됨	MLE 간 로그 가능도 차이 → 이차형식 → 카이제곱

---