[Mathematical Statistics] 6.5 Multiparameter case: Testing

6.5 Multiparameter case: Testing

multiparameter case 라는 건 random Sample X1, ..., Xn 이 iid 로 추출된 pdf of f(x) 가 모수 세타를 가질 때, 이 모수의 parameter space 가 d-dimension 의 real(실수집합)이라는 것이다. 이전에 다뤘던 상황들이 모두 모수 세타가 존재하는 모수공간을 1-dimension 으로 가정했다면, 앞으로 이어질 내용은 1 이상의 다차원 d공간에 존재하는 모수에 대한 검정통계량과 검정 방법이다.

이때 Multiparameter 라는 보다 일반적인 내용을 통해 이전 통계량들이 왜 주어졌는지 알 수 있다. T검정, F검정, 카이제곱 검정 통계량들은 왜 주어졌는지를 다음 이어지는 Multiparameter LRT 로 보이자.

[1] LRT

• Consider $X_{1}, \cdots, X_{n}$ be from $X \sim N\left(\mu, \sigma^{2}\right)$. Want to test $H_{0}: \mu=\mu_{0}$ vs $H_{1}: \mu \neq \mu_{0}$. 다음과 같은 unknown parameter 가 2개일 때 모수가 사는 모수공간은 다음과 같다.
• Note that the parameter space is $\Omega=\left\{\left(\mu, \sigma^{2}\right):-\infty<\mu<\infty, \sigma^{2}>0\right\}$.

여기서 $\mu$ 는 추정량도 있을 것이고 검정하고 싶은 모수라면, $\sigma^{2}$ 는 unknown 이지만 not of interest 라 하자. 따라서 위의 귀무가설 또한 $\mu$에 대한 검정 뿐이고.. 귀무가설이 참일 경우 $\mu$ 자체는 하나의 점으로 찍을 수 있으므로 이때의 모수공간을 다시 쓸 수 있다.

The restricted parameter space in which $H_{0}$ : $\mu=\mu_{0}$ holds is $\Omega_{0}=\left\{\left(\mu_{0}, \sigma^{2}\right): \sigma^{2}>0\right\}$ i.e. $\operatorname{dim}(\Omega)=2$ and $\operatorname{dim}\left(\Omega_{0}\right)=$ 1 .

따라서 $\operatorname{dim}(\Omega)=2$ 와 $\operatorname{dim}\left(\Omega_{0}\right)=$ 1 를 구별해야 할 순간도 옴을 기억하자.

multiparameter case 에서 LRT 통계량을 보자.

LRT Statistics

• $X_{1}, \cdots, X_{n}$ be r.s. from $f(x ; \boldsymbol{\theta}), \boldsymbol{\theta} \in \Omega \subset \mathbb{R}^{d}$.
• Want to test
  $H_{0}: \boldsymbol{\theta} \in \Omega_{0} \quad \text { vs. } \quad H_{1}: \boldsymbol{\theta} \in \Omega-\Omega_{0}$

이때의 $\boldsymbol{\theta}$ 는 d차원 모수공간에 존재하는 multiparameter 다. 따라서 $\Omega$ 자체는 d차원인데, 귀무가설로 위와 같이 제약을 줬을 때 (그 제약의 수가 q개라고 할 때) $\Omega_{0}$의 차원은, q개의 차원에서 점이 정해진 상태로 나머지 d-q 차원이라 할 수 있다.

이때의 LRT 통계량은 다음과 같다.

• To test $H_{0}: \theta \in \Omega_{0}$, we again consider the LRT-type statistic defined by
  $\Lambda=\frac{\max _{\boldsymbol{\theta} \in \Omega_{0}} L(\boldsymbol{\theta})}{\max _{\boldsymbol{\theta} \in \Omega} L(\boldsymbol{\theta})} \equiv \frac{L\left(\widehat{\boldsymbol{\theta}}_{0}\right)}{L(\widehat{\boldsymbol{\theta}})}$

분모는 전체 모수 공간 $\Omega$ 에서 구한 MLE 를 Likelihood function 에 넣은 값이고, 분자는 $\Omega_{0}$ 에서의 MLE 를 넣은 값이다. 귀무가설이 맞다면 차이가 일정 수준보다 작을 것이고, 아니라면 값 자체가 크게 떨어질 것이다. 따라서 if $\Lambda \leq c$ where $c$ is determined to satisfy the level $\alpha$ condition 이라면 귀무가설을 기각한다.

귀무가설이 맞는 상황에서 람다에 -2log 를 씌운 것은 카이제곱을 따른다고 하였다. 여기서도 유지된다.

Theorem Under regularity conditions, $-2 \log \Lambda \xrightarrow{D} \chi^{2}(q)$ under $H_{0}$. (q는 제약의 개수)

[2] Examples.
이 예시를 통해 정규분포에서 $\mu = \mu_{0}$ 라는 귀무가설에 의해 유도하는 LRT 통계량이 T통계량, T검정임을 알 수 있다. (T검정을 LRT 를 통해 유도할 수 있다, 고 말할 수 있다.)

Example (LRT for the mean of a normal distribution with unknown variance). Let $X_{1}, \cdots, X_{n}$ be r.s. from $N\left(\mu, \sigma^{2}\right)$. Derive that the LRT of level $\alpha$ for testing $H_{0}: \mu=\mu_{0}$ against $H_{1}: \mu \neq \mu_{0}$.

(sol)

• Let $\boldsymbol{\theta}:=\left(\mu, \sigma^{2}\right)$.
• $\Omega=\left\{\left(\mu, \sigma^{2}\right):-\infty<\mu<\infty, \sigma^{2}>0\right\}$ and $d=2$.
• $\Omega_{0}=\left\{\left(\mu_{0}, \sigma^{2}\right): \sigma^{2}>0\right\}$.i.e., $d-q=1$, and $q=1$.

세타는 multi dimension parameter 이고, 원래의 모수공간 오메가의 차원은 d이나 귀무가설이 맞을 경우 제약 q=1로 인해 $\Omega_{0}$ 의 차원은 d-q = 1 로 주어진 상황이다. 이때 각각 $\Omega$, $\Omega_{0}$ 에서 MLE 를 구하고 나누면 LRT 통계량이 된다.

• MLE on $\Omega$ :
  $\begin{aligned} & L(\boldsymbol{\theta})=\left(2 \pi \sigma^{2}\right)^{-n / 2} \exp \left[-\frac{1}{2 \sigma^{2}} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right], \quad \mu \in \mathbb{R}, \sigma^{2}>0 \\ & \Rightarrow \widehat{\boldsymbol{\theta}}=\left(\widehat{\mu}, \widehat{\sigma}^{2}\right)=\left(\bar{X}, \frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right) \end{aligned}$
• MLE on $\Omega_{0}$ : The likelihood on the null parameter space becomes
  $L\left(\left(\mu_{0}, \sigma^{2}\right)\right)=\left(2 \pi \sigma^{2}\right)^{-n / 2} \exp \left[-\frac{1}{2 \sigma^{2}} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right], \quad \sigma^{2}>0$

So, $\widehat{\boldsymbol{\theta}}_{0}=\left(\mu_{0}, \widehat{\sigma}_{0}^{2}\right)$ with $\widehat{\sigma}_{0}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu_{0}\right)^{2}$.

귀무가설이 참이 아닐 때의$\widehat{\boldsymbol{\theta}}=\left(\widehat{\mu}, \widehat{\sigma}^{2}\right)$ 와 참인 경우의 $\widehat{\boldsymbol{\theta}}_{0}=\left(\mu_{0}, \widehat{\sigma}_{0}^{2}\right)$
는 각각 표본평균과 그로부터의 표본분산, 또는 귀무가설이 참인 $\mu_{0}$ 에서의 평균과 분산으로 볼 수 있다. 이제 분자/분모로 나눠주자.

• Likelihood ratio:
  $\begin{aligned} & L(\widehat{\boldsymbol{\theta}})=\left(2 \pi \widehat{\sigma}^{2}\right)^{-n / 2} e^{-n / 2}, L\left(\widehat{\boldsymbol{\theta}}_{0}\right)=\left(2 \pi{\widehat{\sigma_{0}}}^{2}\right)^{-n / 2} e^{-n / 2} \\ & \Rightarrow \Lambda=L\left(\widehat{\boldsymbol{\theta}}_{0}\right) / L(\widehat{\boldsymbol{\theta}})=\left(\sum_{i=1}^{n}\left(X_{i}-\mu_{0}\right)^{2} / \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right)^{-n / 2} \text {. } \end{aligned}$
• LRT rejects $H_{0}$ if $\Lambda \leq c \Leftrightarrow \Lambda^{-2 / n} \geq c^{\prime}$ we find a equivalent condition.
  $\begin{aligned} \Lambda^{-2 / n} & =\frac{\sum_{i=1}^{n}\left(X_{i}-\mu_{0}\right)^{2}}{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}}=\frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}+n\left(\bar{X}-\mu_{0}\right)^{2}}{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}} \\ & =1+\frac{n\left(\bar{X}-\mu_{0}\right)^{2}}{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}} \geq c^{\prime} \Leftrightarrow \frac{n\left(\bar{X}-\mu_{0}\right)^{2}}{\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}} \geq c^{\prime \prime} \end{aligned}$

$\sum_{i=1}^{n}\left(X_{i}-\mu_{0}\right)^{2}$ 일 때는 $\bar{X}$ 를 한 번 뺴주고 더해주는 연산이 여기서도 포함이 되어있고.. 결과적으로 분모 분자를 나눠 생긴 +1을 빼주고, 분모에 1/n-1을 곱해줘서 $S^2$을 유도할 때 곱해준 상수를 추가로 취해준다. (c가 c'로 c'' 로 변하긴 하지만 유도된 c''에서 알파 quantile 을 보면 된다.)

i.e. $T^{2} \geq c^{\prime \prime}$, where $T=\frac{\bar{X}-\mu_{0}}{S / \sqrt{n}}, S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}$.

• Finally, reject $H_{0}$ iff $|T| \geq t_{\alpha / 2}$, since $T \sim t(n-1)$ under $H_{0}$.

마지막 term은 T검정통계량과 같았고.. 따라서 t(n-1)분포를 따르며, 제곱의 형태이므로 양측검정으로 볼 수 있다. (귀무가설이 맞을 경우)

결과적으로 위 example 에서 말하고자 하는 것은, T통계량은 $N(\mu, \sigma^2)$에서 $\mu = \mu_{0}$ 라는 $H_{0}$ 에 의해 유도하는 LRT 통계량이라는 것이다. 이와 비슷하게, F통계량은 normal에서 $\sigma^2 = \sigma_{0}^2$ 라는 귀무가설 하에서 유되되는 LRT 통계량이고, 카이제곱 역시 LRT 에서 왔음을 보일 수 있다. Multiparameter case: estimation에서 보이고자 했던 것은 따라서 이전에 보였던 통계량이 LRT로부터 유도된 (서로 다른 귀무가설 하) 가능도 비라는 것이다.