일반화 가능도비 검정법

choyunjeong·2024년 12월 22일

5.3 일반화 가능도비 검정법

대립가설이 양측으로 주어진다는지 검정의 직접 대상이 아닌 장애모수가 존재할 때, 즉 관심대상이 되는 모수 외에 다른 미지의 모수가 존재하는 등 최강력 검정법과 균일최강력 검정법의 접근방법을 직접 적용할 수 없는 경우 일반화 가능도비 검정법을 사용한다.

\\[20pt]

정의 5.6
랜덤표본 X1,X2,,XnX_1,X_2,\ldots,X_n의 결합 확률밀도함수가 f(x1,x2,,xn;θ)f(x_1,x_2,\ldots,x_n;\theta)로 주어졌다고 하자.

H0:θΩ0vsH0:θΩ1 (=ΩΩ0)H_0:\theta\in\Omega_0\quad\text{vs}\quad H_0:\theta\in\Omega_1\ (=\Omega-\Omega_0)

를 고려할 때, 일반화 가능도비는

Λ(x1,x2,,xn)=maxθΩ0L(θ;x1,x2,,xn)maxθΩL(θ;x1,x2,,xn)=L(θ^0)L(θ^n)\Lambda(x_1,x_2,\ldots,x_n) =\dfrac{\text{max}_{\theta\in\Omega_0}L(\theta;x_1,x_2,\ldots,x_n)}{\text{max}_{\theta\in\Omega}L(\theta;x_1,x_2,\ldots,x_n)} =\dfrac{L(\hat{\theta}_0)}{L(\hat{\theta}_n)}

으로 추정된다.

  • θ^n\hat{\theta}_n: 모수 θ\theta의 최대가능도 추정량,
  • θ^0\hat{\theta}_0: 귀무가설이 참이라는 조건하에서 가능도함수를 최대로 만드는 θ\theta의 최대가능도 추정량

여러 가능한 모수값들 가운데 주어진 관측값을 가장 잘 설명하는, 즉 실제로 관측된 자료가 얻어질 확률을 가장 높게 만드는 모수값을 이용.

  • 분자: 네이만-피어슨 정리와 같이 귀무가설이 참이라는 조건하에 전체 모수공간의 부분집합 공간 (귀무가설 조건 하에서)에서의 최대가능도 추정량.
  • 분모: 네이만-피어슨 정리와 달리 대립가설하에서의 최대가능도 추정량이 아닌 전체 모수공간에서의 최대가능도 추정량

이와 같이 정의된 일반화 가능도비 Λ\Lambda는 언제나 양수이지만 1보다 클 수 없다.

  • Λ\Lambda의 값이 1에 가까우면 귀무가설에 부합하여 귀무가설을 기각할 이유가 없음.
  • Λ\Lambda의 값이 0에 가까우면 귀무가설에 부합하지 않아 귀무가설을 기각할 증거가 됨.

\\[20pt]

정의 5.7
유의수준이 α\alpha인 일반화 가능도비 검정법은 0Λλ0\le\Lambda\le\lambda^*인 경우 H0H_0을 기각한다. 단, λ\lambda^*maxP(0Λλ)=α\text{max}P(0\le\Lambda\le\lambda^*)=\alpha를 만족하는 상수이며 0λ10\le\lambda^*\le1이다.

귀무가설 하에서 확률변수 Λ\Lambda의 확률밀도함수가 f(λH0)f(\lambda|H_0)이면 임계값 λ\lambda^*는 방정식

α=0λf(λH0)dλ\alpha=\int_{0}^{\lambda^*} f(\lambda|H_0) d\lambda

를 풀어 구할 수 있다. (본문 그림 5.4 참조)

\\[20pt]

예 5.21
X1,X2,,XnX_1,X_2,\ldots,X_nU(0,θ)U(0,\theta)로부터 얻은 랜덤표본이라고 하고,

H0:θ=θ0vsH1:θ<θ0H_0:\theta=\theta_0\quad\text{vs}\quad H_1:\theta<\theta_0

의 가설검정을 생각해 보자. 이때 모수공간 Ω\Omega{θ:θθ0}\{\theta:\theta\le\theta_0\}이므로 X(n)θ0X_{(n)}\le\theta_0을 가정할 수 있고, 일반화 가능도비는

Λ(X1,X2,,Xn)=[X(n)θ0]n\Lambda(X_1,X_2,\ldots,X_n)=\left[\dfrac{X_{(n)}}{\theta_0}\right]^n

이 되므로 유의수준이 α\alpha인 일반화 가능도비 검정법의 기각영역은 X(n)θ0λ\dfrac{X_{(n)}}{\theta_0}\le\lambda^*이다. 단 λ\lambda^*

α=P[(X(n)θ0)nλH0]=P[X(n)θ0(λ)1/nH0]\begin{aligned} \alpha&=P\left[\left.\left(\dfrac{X_{(n)}}{\theta_0}\right)^n\le\lambda^*\right|H_0\right] \\[15pt] &=P\left[\left.\dfrac{X_{(n)}}{\theta_0}\le\left(\lambda^*\right)^{1/n}\right|H_0\right] \\[15pt] \end{aligned}

를 만족시킨다. 이제

W=X(n)θ0,w=(λ)1/nW=\dfrac{X_{(n)}}{\theta_0},\quad w^*=(\lambda^*)^{1/n}

라고 정의하면, WW의 확률밀도함수가 0<w<10<w<1에서 f(w)=nwn1f(w)=nw^{n-1}이므로

α=0wnwn1dw=(w)n\begin{aligned} \alpha&=\int_{0}^{w^*}nw^{n-1}dw\\[15pt] &=(w^*)^n \end{aligned}

가 된다. 그러므로 가설에 대한 유의수준 α\alpha인 일반화 가능도비 검정법의 기각영역은

W=X(n)θ0α1/nW=\dfrac{X_{(n)}}{\theta_0}\le \alpha^{1/n}

으로 주어진다.

이 결과는 가설에 대한 균일최강력 검정법과 일치하는데 이는 다음과 같이 보일 수 있다. θ0<θ1\theta_0<\theta_1θ0\theta_0θ1\theta_1에 대하여, 가능도비 LR(θ0,θ1;x1,x2,,xn)LR(\theta_0,\theta_1;x_1,x_2,\ldots,x_n)

LR(θ0,θ1;x1,x2,,xn)={(θ1θ0)n,x(n)θ1,θ1<x(n)θ0LR(\theta_0,\theta_1;x_1,x_2,\ldots,x_n) =\begin{cases} \left(\dfrac{\theta_1}{\theta_0}\right)^n, & x_{(n)}\le\theta_1\\[15pt] \infty, & \theta_1<x_{(n)}\le\theta_0 \end{cases}

가 된다. 이 가능도비는 T(X1,X2,,Xn)=X(n)T(X_1,X_2,\ldots,X_n)=X_{(n)}에 대해 비감소함수이므로 X(n)X_{(n)}에 대해 단조가능도비의 성질을 갖는다. 그러므로 정리 5.2에 의해, P(X(n)kH0)=αP(X_{(n)}\le k|H_0)=\alphakk에 대해 {(x1,x2,,xn):x(n)k}\{(x_1,x_2,\ldots,x_n):x_{(n)}\le k\}가 유의수준 α\alpha인 균일최강력 검정법의 기각영역이 된다. 귀무가설하에서 X(n)X_{(n)}의 분포를 이용하여

k=θ0α1/nk=\theta_0\alpha^{1/n}

임을 알 수 있고 그에 따라 이기각영역이 일반화 가능도비 기각영역과 같음을 알 수 있다.

\\[20pt]

그러나 많은 경우에 Λ\Lambda의 분포는 알려져 있지 않으며, Λ\Lambda의 단조변환꼴로 표현되는 통계량의 귀무가설하에서의 분포를 이용하여 기각영역을 구할 수 있다.

예 5.22
X1,X2,,XnX_1,X_2,\ldots,X_n이 정규분포 N(μ,σ2)N(\mu,\sigma^2)으로부터 얻은 랜덤표본이라고 하고, 모분산 σ2\sigma^2 알려져 있는 경우

H0:μ=μ0vsH1:μμ0H_0:\mu=\mu_0\quad\text{vs}\quad H_1:\mu\neq\mu_0

을 고려해보자. 가능도함수가 T(X1,X2,,Xn)=i=1nXiT(X_1,X_2,\ldots,X_n)=\sum_{i=1}^{n}X_i에 대해 비증가하는 단조가능도비의 성질이 있으므로 대립가설이 H1:μ>μ0H_1:\mu>\mu_0이면 균일최강력 검정법의 기각영역이 {i=1nXik}\{\sum_{i=1}^{n}X_i\ge k\}의 형태를 가지고 대립가설이 H1:μ<μ0H_1:\mu<\mu_0이면 균일최강력 검정법의 기각영역이 {i=1nXik}\{\sum_{i=1}^{n}X_i\le k\}의 형태를 갖는다. 그러나 최강력 검정법의 기각영역이 μμ0\mu-\mu_0의 부호에 의존하므로 대립가설이 H1:μμ0H_1:\mu\neq\mu_0이면 균일최강력 검정법이 존재하지 않는다.

이제 양측 대립가설에 대해 일반화 가능도비 검정법의 기각영역을 구해 보자. μ\mu의 최대가능도 추정량이 Xˉn\bar{X}_n이므로 일반화 가능도비는

Λ(X1,X2,,Xn)=(2πσ2)n/2exp[i=1n(Xiμ)2/(2σ2)](2πσ2)n/2exp[i=1n(XiXˉn)2/(2σ2)]=exp(n2σ2(Xˉnμ)2)\begin{aligned} \Lambda(X_1,X_2,\ldots,X_n) &=\dfrac{(2\pi\sigma^2)^{-n/2}\exp\left[-\sum_{i=1}^{n}(X_i-\mu)^2/(2\sigma^2)\right]}{(2\pi\sigma^2)^{-n/2}\exp\left[-\sum_{i=1}^{n}(X_i-\bar{X}_n)^2/(2\sigma^2)\right]} \\[15pt] &=\exp\left(-\dfrac{n}{2\sigma^2}(\bar{X}_n-\mu)^2\right) \end{aligned}

이 되고, 기각영역은 exp(n2σ2(Xˉnμ)2)λ\exp\left(-\dfrac{n}{2\sigma^2}(\bar{X}_n-\mu)^2\right)\le\lambda^*가 된다. 여기에서 λ\lambda^*

α=P[exp(n2σ2(Xˉnμ)2)λH0]\alpha=P\left[\left.\exp\left(-\dfrac{n}{2\sigma^2}(\bar{X}_n-\mu)^2\right)\le\lambda^*\right|H_0\right]

를 만족한다. 이 기각영역은 Xˉnμc|\bar{X}_n-\mu|\ge c와 동등하고 귀무가설하에서 XˉnN(μ0,σ2/n)\bar{X}_n\sim N(\mu_0,\sigma^2/n)을 따르므로

α=P[XˉnμcH0]\alpha=P[|\bar{X}_n-\mu|\ge c|H_0]

로부터 c=zα/2σnc=z_{\alpha/2}\dfrac{\sigma}{\sqrt{n}}임을 알 수 있다. 즉, 유의수준 α\alpha인 일반화ㅏ 가능도비 검정법의 기각영역은

{(x1,,xn):xˉnμ+zα/2σnorxˉnμzα/2σn}\{(x_1,\ldots,x_n):\bar{x}_n\ge\mu+z_{\alpha/2}\dfrac{\sigma}{\sqrt{n}}\quad \text{or}\quad \bar{x}_n\le\mu-z_{\alpha/2}\dfrac{\sigma}{\sqrt{n}}\}

\\[30pt]

근사 가능도비 검정법

위의 예들에서는 일반화 가능도비를 적절히 변환시킴으로써 필요한 검정통계량의 분포를 구하였다. 하지만 때에 따라서 언제나 이러한 변환이 가능한 것은 아니며 또한 기각영역을 찾기가 매우 어렵거나 불가능할 수도 있다. 이런 경우 표본의 크기가 충분히 크다면 다음 정리 5.3에 근거하여 일반화 가능도비 통계량의 근사분포를 구할 수 있다.

\\[20pt]

정리 5.3
최대가능도 추정량의 점근적 정규성을 보인 정리 4.13에서와 같은 적절한 조건이 만족될 때, 2log Λ(X1,X2,,Xn)-2\text{log }\Lambda(X_1,X_2,\ldots,X_n)은 귀무가설하에서 자유도가 kk인 카이제곱분포를 근사적으로 따른다.

2log Λ-2\text{log }\LambdaΛ\Lambda의 감소함수이므로 Λ\Lambda의 값이 충분히 작을 때 귀무가설을 기각하는 것은 2log Λ-2\text{log }\Lambda가 충분히 클 때 귀무가설을 기각하는 것과 동일한 검정법

\\[20pt]

예 5.25
X1,X2,,XnX_1,X_2,\ldots,X_n이 베르누이 (p)(p)에서의 랜덤표본이라 하고

H0:p=p0vsH1:pp0H_0:p=p_0\quad\text{vs}\quad H_1:p\neq p_0

의 가설검정을 고려해 보자. 대립가설이 양측이므로 이 경우 균일최갈역 검정법이 존재하지 않음을 쉽게 보일 수 있다. Ω={0<p<1}\Omega=\{0<p<1\}에서 pp의 최대가능도 추정량이 Xˉn\bar{X}_n이므로 일반화 가능도비는

Λ(X1,X2,,Xn)=p0Xi(1p0)nXiXˉnXi(1Xˉn)nXi=(p0Xˉn)nXˉn(1p01Xˉn)nnXˉn\begin{aligned} \Lambda(X_1,X_2,\ldots,X_n) &=\dfrac{p_0^{\sum X_i}(1-p_0)^{n-\sum X_i}}{\bar{X}_n^{\sum X_i}(1-\bar{X}_n)^{n-\sum X_i}} \\[15pt] &=\left(\dfrac{p_0}{\bar{X}_n}\right)^{n\bar{X}_n}\left(\dfrac{1-p_0}{1-\bar{X}_n}\right)^{n-n\bar{X}_n} \end{aligned}

이때

g(x)=(p0x)nx(1p01x)nnxg(x)=\left(\dfrac{p_0}{x}\right)^{nx}\left(\dfrac{1-p_0}{1-x}\right)^{n-nx}

라 놓으면 미분을 통해 log g(x)\text{log }g(x)x<p0x<p_0에서 증가하고 x>p0x>p_0에서 감소함을 쉽게 알 수 있다. 로그함수도 동일하다. 즉, Λ(X1,,Xn)k\Lambda(X_1,\ldots,X_n)\le kc1<p0<c2c_1<p_0<c_2인 상수 c1c_1c2c_2에 대하여 Xˉnc1\bar{X}_n\le c_1 또는 Xˉnc2\bar{X}_n\ge c_2라는 양측 기각영역과 동등히다. 중심극한정리에 의해, nn이 클 때 귀무가설하에서

XˉnN(p0,p0(1p0)n)\bar{X}_n\sim N(p_0,\dfrac{p_0(1-p_0)}{n})

이 근사적으로 성립하므로,

Xˉnp0zα/2p0(1p0)/norXˉnp0+zα/2p0(1p0)/n\bar{X}_n\le p_0 - z_{\alpha/2}\sqrt{p_0(1-p_0)/n}\quad \text{or}\quad \bar{X}_n\ge p_0 + z_{\alpha/2}\sqrt{p_0(1-p_0)/n}

가 유의수준 α\alpha인 근사 기각영역이 {(x1,x2,,xn):2log Λ(x1,x2,,xn)χα2(1)}\{(x_1,x_2,\ldots,x_n):-2\text{log }\Lambda(x_1,x_2,\ldots,x_n)\ge \chi_{\alpha}^2(1)\}이 될 것이다.

\\[20pt]
예 5.26
예 5.23에서 다루어진 양측 tt검점에 대해 일반화 가능도비는

Λ(X1,X2,,Xn)=[i=1n(XiXˉn)2i=1n(Xiμ0)2]n/2=[i=1n{(XiXˉn)+(Xˉnμ0)}2i=1n(XiXˉn)2]n/2=[i=1n{(XiXˉn)2+(Xˉnμ0)2+2(XiXˉn)(Xˉnμ0)}i=1n(XiXˉn)2]n/2=[i=1n(XiXˉn)2+i=1n(Xˉnμ0)2i=1n(XiXˉn)2]n/2=[i=1n(XiXˉn)2+n(Xˉnμ0)2i=1n(XiXˉn)2]n/2=[1+n(Xˉnμ0)2i=1n(XiXˉn)2]n/2\begin{aligned} \Lambda(X_1,X_2,\ldots,X_n) &=\left[\dfrac{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}{\sum_{i=1}^{n}(X_i-\mu_0)^2}\right]^{n/2} \\[15pt] &=\left[\dfrac{\sum_{i=1}^{n}\{(X_i-\bar{X}_n)+(\bar{X}_n-\mu_0)\}^2}{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}\right]^{-n/2} \\[15pt] &=\left[\dfrac{\sum_{i=1}^{n}\{(X_i-\bar{X}_n)^2+(\bar{X}_n-\mu_0)^2+2(X_i-\bar{X}_n)(\bar{X}_n-\mu_0)\}}{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}\right]^{-n/2} \\[15pt] &=\left[\dfrac{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2+\sum_{i=1}^{n}(\bar{X}_n-\mu_0)^2}{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}\right]^{-n/2} \\[15pt] &=\left[\dfrac{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2+n(\bar{X}_n-\mu_0)^2}{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}\right]^{-n/2} \\[15pt] &=\left[1+\dfrac{n(\bar{X}_n-\mu_0)^2}{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}\right]^{-n/2} \\[15pt] \end{aligned}

로 주어진다 따라서

2logΛ(x1,x2,,xn)=2log[1+n(Xˉnμ0)2i=1n(XiXˉn)2]n/2=nlog[1+n(Xˉnμ0)2i=1n(XiXˉn)2]\begin{aligned} -2\log\Lambda(x_1,x_2,\ldots,x_n) &=-2\log\left[1+\dfrac{n(\bar{X}_n-\mu_0)^2}{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}\right]^{-n/2} \\[15pt] &=n\log\left[1+\dfrac{n(\bar{X}_n-\mu_0)^2}{\sum_{i=1}^{n}(X_i-\bar{X}_n)^2}\right] \end{aligned}

이다. 테일러 정리로부터 x0|x|\approx0인 경우 log(1+x)x\log(1+x)\approx x라는 근사관계로부터

2logΛ(x1,x2,,xn)n(Xˉnμ0)21ni=1n(XiXˉn)2\begin{aligned} -2\log\Lambda(x_1,x_2,\ldots,x_n) \approx \dfrac{n(\bar{X}_n-\mu_0)^2}{\dfrac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X}_n)^2} \end{aligned}

이며 1ni=1n(XiXˉn)2\dfrac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X}_n)^2σ2\sigma^2으로 수렴한다.

이에 충분히 큰 nn에 대해

2log Λ(x1,x2,,xn)n(Xˉnμ0)2σ2\begin{aligned} -2\text{log }\Lambda(x_1,x_2,\ldots,x_n) \approx \dfrac{n(\bar{X}_n-\mu_0)^2}{\sigma^2} \end{aligned}

이 되고 귀무가설하에서

n(Xˉnμ0)2σ2χα2(1)\dfrac{n(\bar{X}_n-\mu_0)^2}{\sigma^2}\sim\chi_\alpha^2(1)

이 성립하므로 일반화 가능도비 검정법은 2log Λ(x1,x2,,xn)χα2(1)-2\text{log }\Lambda(x_1,x_2,\ldots,x_n)\ge\chi_\alpha^2(1)인 경우에 귀무가설을 기각하게 된다. 위 결과는 정리 5.3과 부합된다.


[참고문헌]

  • 수리통계학 제 5판 - 송성주, 전명식

0개의 댓글