Karlin-Rubin Theorem and UMPU

stat._.jun·2026년 2월 10일

1. Karlin-Rubin

Def. (Monotone Likelihood Ratio)
A model {fθ:θΘ}\{f_\theta : \theta \in \Theta \} is said to have a monotone likelihood ratio (MLR) in a statistic TT if, for any θ1<θ2\theta_1 < \theta_2, fθ2(X)>fθ1(X)f_{\theta_2}(X) > f_{\theta_1}(X) is a monotone function of TT.

Proposition 1.
Suppose that a model {fθ:θΘ}\{ f_{\theta} : \theta \in \Theta \} has a MLR in a statistic TT. Then, a power function βϕ(θ)\beta_{\phi}(\theta) for the test ϕt(X)=I(T(X)>t)\phi_t(X) = \mathbb{I}(T(X) > t) is increasing in θ\theta for any tt.

Thm. (Karlin-Rubin)
Assume that {fθ:θΘ}\{f_\theta : \theta \in \Theta \} has MLR in TT. Consider one-sided hypothesis testing problem such as H0:θθ0versusH1:θ>θ0H_0 : \theta \leq \theta_0 \quad \textup{versus} \quad H_1 : \theta > \theta_0.
Then a test ϕt(X)=I(T(X)>tα)\phi^*_t (X) = \mathbb{I}(T(X) > t_{\alpha}) is a uniformly most powerful level α\alpha test, where tαt_{\alpha} is chosen to be βϕ(θ0)=α\beta_{\phi^*}(\theta_0) = \alpha.

UMP Test는 항상 존재하지 않지만, 어떤 모형이 Monotone Likelihood Ratio 성질을 가지고 있다면, Karlin-Rubin 정리에 의해서 단측 가설검정에 대해서는 UMP Test가 존재함을 알 수 있다. 대표적인 예시는 아래와 같은, 지수족에서의 가설검정이다.

Corollary 1.
모집단의 확률밀도함수가 아래와 같이 주어지는 Exponential Family라고 하자.

f(x;θ)=h(x)exp{g(θ)T(x)B(θ)}f(x; \theta) = h(x) \exp \{ g(\theta)^{\top}T(x) - B(\theta) \}

g(θ)g(\theta)θ\theta의 단조증가함수이면, ϕt(X)=I(T(X)>tα)\phi_t^*(X) = \mathbb{I}(T(X) > t_\alpha) 는 UMP Test이다.

Corollary 1. 보이는거는 g(θ)g(\theta)가 단조증가라는 조건이 MLR과 바로 연결됨을 파악하면 끝난다.

2. Uniformly Most Powerful Unbiased Test

Def. (Unbiased Test)
A test ϕt(X)\phi_t(X) is a level α\alpha unbiased test if supθΘ0βϕt(θ)α\sup_{\theta \in \Theta_0} \beta_{\phi_t}(\theta) \leq \alpha and infθΘ1βϕt(θ)α\inf_{\theta \in \Theta_1} \beta_{\phi_t}(\theta) \geq \alpha.

불편검정은 생소한 것 같다. 귀무가설 하에서 귀무가설을 기각하는 1종 오류를 범할 확률이 α\alpha보다 작게 control할 것이라면, 검정력이 최소한 α\alpha보다는 커야한다. 모호하게 들리지만, 결국 만약 검정력이 α\alpha보다 작다면, α\alpha의 확률로 랜덤하게 기각하는 랜덤 검정법보다도 좋지 못하다는 뜻이기 때문에 찍는 것보다 좋음을 설명하는 조건이다.

다음과 같은 예시를 고려해보자.

X1,,XnN(θ,1)X_1, \dots, X_n \sim N(\theta,1)
H0:θ=θ0 versus H1:θθ0H_0 : \theta = \theta_0 \textup{ versus } H_1 : \theta \neq \theta_0

이 가설을 검정하는 LRT ϕ(X)\phi(X)는 다음을 만족한다.

첫번째는 유의수준에 대한 수식이고,

βϕ(θ0)=α,θβθ0(θ)=0\beta_{\phi}(\theta_0) = \alpha, \quad \nabla_{\theta} \beta_{\theta_0}(\theta) = 0

두번째는 가장 좋은 검정력을 가지는 검정임을 의미한다.

φ:(βφ(θ)=α)(θβφ(θ)=0),  βϕ(θ1)βφ(θ1)\forall \, \varphi : (\beta_{\varphi}(\theta) = \alpha) \, \land \, (\nabla_{\theta} \beta_{\varphi}(\theta) = 0), \; \beta_{\phi}(\theta_1) \geq \beta_{\varphi}(\theta_1)

이거 미분을 한게 어떤 의미냐면 미분을 해서 0되는 점이 θ0\theta_0이니까, 이게 Local Minimum이 된다. 근데 Unbiased Test 정의에 의하면,

βϕ(θ)α,  θθ0.\beta_{\phi}(\theta) \geq \alpha, \; \forall \theta \neq \theta_0.

0개의 댓글