5.1 검정의 기본 요소
검정통계량: 주어진 랜덤표본 X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n
기각영역 ( C ) (C) ( C ) 귀무가설을 기각하게 되는 검정통계량의 값을 가지는 표본공간의 부분집합
\\[20pt]
예 5.2 X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n N ( μ , 1 0 2 ) N(\mu,10^2) N ( μ , 1 0 2 )
H 0 : μ = 100 H 1 : μ = 105 H_0: \mu=100 \quad H_1: \mu=105 H 0 : μ = 1 0 0 H 1 : μ = 1 0 5 검정통계량 X ˉ n \bar{X}_n X ˉ n { ( x 1 , x 2 , … , x 25 ) : x ˉ 25 ≥ c } \{(x_1,x_2,\ldots,x_{25}):\bar{x}_{25}\ge c\} { ( x 1 , x 2 , … , x 2 5 ) : x ˉ 2 5 ≥ c } { x ˉ 25 ≥ c } \{\bar{x}_{25}\ge c\} { x ˉ 2 5 ≥ c }
제 1종 오류 ( α ) (\alpha) ( α ) ( β ) (\beta) ( β )
유의수준 ( α ) (\alpha) ( α )
P [ ( X 1 , X 2 , … , X n ) ∈ C ∣ H 0 ] = ∫ C f ( x 1 , x 2 , … , x n ∣ H 0 ) d x 1 d x 2 … x n P[(X_1,X_2,\ldots,X_n)\in C|H_0]=\int_{C}f(x_1,x_2,\ldots,x_n|H_0)dx_1dx_2\ldots x_n P [ ( X 1 , X 2 , … , X n ) ∈ C ∣ H 0 ] = ∫ C f ( x 1 , x 2 , … , x n ∣ H 0 ) d x 1 d x 2 … x n \\[20pt]
예 5.4 { ( x 1 , x 2 , … , x 25 ) : x ˉ 25 ≥ 104 } \{(x_1,x_2,\ldots,x_{25}):\bar{x}_{25}\ge 104\} { ( x 1 , x 2 , … , x 2 5 ) : x ˉ 2 5 ≥ 1 0 4 } α \alpha α β \beta β
α = P ( X ˉ 25 ≥ 104 ∣ μ = 100 ) = P [ 25 ( X ˉ 25 − 100 ) 10 ≥ 25 ( 104 − 100 ) 10 ∣ μ = 100 ] = 1 − ϕ ( 2 ) = 0.0228 \begin{aligned} \alpha&=P(\bar{X}_{25}\ge 104|\mu=100) \\[10pt] &= P\left[\left.\dfrac{\sqrt{25}(\bar{X}_{25}-100)}{10}\ge \dfrac{\sqrt{25}(104-100)}{10}\right|\mu=100\right] \\[15pt] &=1-\phi(2) \\[10pt] &=0.0228 \end{aligned} α = P ( X ˉ 2 5 ≥ 1 0 4 ∣ μ = 1 0 0 ) = P [ 1 0 2 5 ( X ˉ 2 5 − 1 0 0 ) ≥ 1 0 2 5 ( 1 0 4 − 1 0 0 ) ∣ ∣ ∣ ∣ ∣ ∣ μ = 1 0 0 ] = 1 − ϕ ( 2 ) = 0 . 0 2 2 8 \\[20pt]
β = P ( X ˉ 25 < 104 ∣ μ = 105 ) = P [ 25 ( X ˉ 25 − 105 ) 10 ≥ 25 ( 104 − 105 ) 10 ∣ μ = 105 ] = ϕ ( − 0.5 ) = 0.3085 \begin{aligned} \beta&=P(\bar{X}_{25}< 104|\mu=105) \\[10pt] &= P\left[\left.\dfrac{\sqrt{25}(\bar{X}_{25}-105)}{10}\ge \dfrac{\sqrt{25}(104-105)}{10}\right|\mu=105\right] \\[15pt] &=\phi(-0.5) \\[10pt] &=0.3085 \end{aligned} β = P ( X ˉ 2 5 < 1 0 4 ∣ μ = 1 0 5 ) = P [ 1 0 2 5 ( X ˉ 2 5 − 1 0 5 ) ≥ 1 0 2 5 ( 1 0 4 − 1 0 5 ) ∣ ∣ ∣ ∣ ∣ ∣ μ = 1 0 5 ] = ϕ ( − 0 . 5 ) = 0 . 3 0 8 5 \\[20pt]
정의 5.2 X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n θ \theta θ
귀무가설 H 0 H_0 H 0 C C C
π ( θ ) = P [ ( X 1 , X 2 , … , X n ) ∈ C ∣ θ ] \pi(\theta)=P[(X_1,X_2,\ldots,X_n)\in C|\theta] π ( θ ) = P [ ( X 1 , X 2 , … , X n ) ∈ C ∣ θ ] 즉, 귀무가설을 기각하는 확률로 정의된다. 그러므로 θ \theta θ θ \theta θ θ \theta θ
\\[20pt]
예 5.5 { x ˉ 25 ≥ 104 } \{\bar{x}_{25}\ge 104\} { x ˉ 2 5 ≥ 1 0 4 } μ = 100 , 105 \mu=100,\ 105 μ = 1 0 0 , 1 0 5 μ > 100 \mu>100 μ > 1 0 0
π ( μ ) = P ( X ˉ 25 ≥ 104 ∣ μ ) = P [ 25 ( X ˉ 25 − μ ) 10 ≥ 25 ( 104 − μ ) 10 ∣ μ ] = 1 − ϕ ( 104 − μ 2 ) \begin{aligned} \pi(\mu)&=P(\bar{X}_{25}\ge 104|\mu) \\[10pt] &= P\left[\left.\dfrac{\sqrt{25}(\bar{X}_{25}-\mu)}{10}\ge \dfrac{\sqrt{25}(104-\mu)}{10}\right|\mu\right] \\[15pt] &=1-\phi\left(\dfrac{104-\mu}{2}\right) \end{aligned} π ( μ ) = P ( X ˉ 2 5 ≥ 1 0 4 ∣ μ ) = P [ 1 0 2 5 ( X ˉ 2 5 − μ ) ≥ 1 0 2 5 ( 1 0 4 − μ ) ∣ ∣ ∣ ∣ ∣ ∣ μ ] = 1 − ϕ ( 2 1 0 4 − μ ) \\[30pt]
5.2 최강력 검정법
표본의 크기가 정해져 있는 경우 제 1종 오류와 제 2종 오류를 둘다 최소로 만드는 검정법을 찾는 것은 불가능하므로 합리적 대안으로 제 1종 오류를 범할 확률을 미리 주어진 작은 값으로 제한하고 검정력을 최대화하는 방법.
정의 5.3 최강력 검정법의 기각영역: H 0 : θ = θ 0 vs H 1 : θ = θ 1 H_0: \theta=\theta_0\quad \text{vs}\quad H_1: \theta=\theta_1 H 0 : θ = θ 0 vs H 1 : θ = θ 1 C ∗ C^* C ∗ α \alpha α
π ∗ ( θ 0 ) = α \pi^*(\theta_0)=\alpha π ∗ ( θ 0 ) = α π ∗ \pi^* π ∗ C ∗ C^* C ∗ 유의수준이 α \alpha α C C C π \pi π π ∗ ( θ 1 ) ≥ π ( θ 1 ) \pi^*(\theta_1)\ge\pi(\theta_1) π ∗ ( θ 1 ) ≥ π ( θ 1 )
예 5.7 본문 p.282참조
또한 귀무가설을 기각할지 판단할 경우에 표본을 통한 f ( x ∣ θ 0 ) / ( x ∣ θ 1 ) f(x|\theta_0)/(x|\theta_1) f ( x ∣ θ 0 ) / ( x ∣ θ 1 )
5.2.1 네이만-피어슨 정리
정리 5.1 (네이만-피어슨 정리) 랜덤표본 X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n f ( x 1 , x 2 , … , x n ; θ ) f(x_1,x_2,\ldots,x_n;\theta) f ( x 1 , x 2 , … , x n ; θ )
H 0 : θ = θ 0 vs H 0 : θ = θ 1 H_0:\theta=\theta_0\quad \text{vs}\quad H_0:\theta=\theta_1 H 0 : θ = θ 0 vs H 0 : θ = θ 1 표본공간의 어떤 부분집합 C ∗ C^* C ∗ k > 0 k>0 k > 0 C ∗ C^* C ∗ α \alpha α
( x 1 , x 2 , … , x n ) ∈ C ∗ (x_1,x_2,\ldots,x_n)\in C^* ( x 1 , x 2 , … , x n ) ∈ C ∗ ( x 1 , x 2 , … , x n ) (x_1,x_2,\ldots,x_n) ( x 1 , x 2 , … , x n ) L R ( θ 0 , θ 1 ) = L ( θ 0 ; x 1 , x 2 , … , x n ) / L ( θ 1 ; x 1 , x 2 , … , x n ) ≤ k LR(\theta_0,\theta_1)=L(\theta_0;x_1,x_2,\ldots,x_n)/L(\theta_1;x_1,x_2,\ldots,x_n)\le k L R ( θ 0 , θ 1 ) = L ( θ 0 ; x 1 , x 2 , … , x n ) / L ( θ 1 ; x 1 , x 2 , … , x n ) ≤ k \\[15pt] ( x 1 , x 2 , … , x n ) ∉ C ∗ (x_1,x_2,\ldots,x_n)\notin C^* ( x 1 , x 2 , … , x n ) ∈ / C ∗ ( x 1 , x 2 , … , x n ) (x_1,x_2,\ldots,x_n) ( x 1 , x 2 , … , x n ) L R ( θ 0 , θ 1 ) = L ( θ 0 ; x 1 , x 2 , … , x n ) / L ( θ 1 ; x 1 , x 2 , … , x n ) ≥ k LR(\theta_0,\theta_1)=L(\theta_0;x_1,x_2,\ldots,x_n)/L(\theta_1;x_1,x_2,\ldots,x_n)\ge k L R ( θ 0 , θ 1 ) = L ( θ 0 ; x 1 , x 2 , … , x n ) / L ( θ 1 ; x 1 , x 2 , … , x n ) ≥ k \\[15pt] P [ ( X 1 , X 2 , … , X n ) ∈ C ∗ ∣ θ 0 ] = α P[(X_1,X_2,\ldots,X_n)\in C^*|\theta_0]=\alpha P [ ( X 1 , X 2 , … , X n ) ∈ C ∗ ∣ θ 0 ] = α
\\[20pt]
예 5.8 X ∼ B ( n , p ) X\sim B(n,p) X ∼ B ( n , p )
H 0 : p = p 0 vs H 0 : p = p 1 ( > p 0 ) H_0:p=p_0\quad \text{vs}\quad H_0:p=p_1\ (>p_0) H 0 : p = p 0 vs H 0 : p = p 1 ( > p 0 ) 에 대한 검정방법을 구해 보자. 가능도비는
L R ( p 0 , p 1 ; x ) = ( n x ) p 0 x ( 1 − p 0 ) n − x ( n x ) p 1 x ( 1 − p 1 ) n − x LR(p_0,p_1;x)=\dfrac{\binom{n}{x}p_0^x(1-p_0)^{n-x}}{\binom{n}{x}p_1^x(1-p_1)^{n-x}} L R ( p 0 , p 1 ; x ) = ( x n ) p 1 x ( 1 − p 1 ) n − x ( x n ) p 0 x ( 1 − p 0 ) n − x 가 된다. 그런데 양의 상수 k k k L R ( p 0 , p 1 ; x ) ≤ k LR(p_0,p_1;x)\le k L R ( p 0 , p 1 ; x ) ≤ k k 1 k_1 k 1
[ p 0 ( 1 − p 1 ) p 1 ( 1 − p 0 ) ] x ≤ k 1 \left[\dfrac{p_0(1-p_1)}{p_1(1-p_0)}\right]^x\le k_1 [ p 1 ( 1 − p 0 ) p 0 ( 1 − p 1 ) ] x ≤ k 1 또는 양변에 log \log log
x log [ p 0 ( 1 − p 1 ) p 1 ( 1 − p 0 ) ] ≤ log k 1 x\log\left[\dfrac{p_0(1-p_1)}{p_1(1-p_0)}\right]\le \log k_1 x log [ p 1 ( 1 − p 0 ) p 0 ( 1 − p 1 ) ] ≤ log k 1 이 성립하는 것과 동등하다. 한편 p 1 > p 0 p_1>p_0 p 1 > p 0 p 0 ( 1 − p 1 ) / p 1 ( 1 − p 0 ) < 1 p_0(1-p_1)/p_1(1-p_0)<1 p 0 ( 1 − p 1 ) / p 1 ( 1 − p 0 ) < 1 log \text{log} log
와 동등하다. 따라서 네이만-피어슨 정리에 의해 가설에 대한 최강력 검정법의 기각영역은 C ∗ = { x : x ≥ k 2 } C^*=\{x:x\ge k_2\} C ∗ = { x : x ≥ k 2 } ( k 2 > 0 ) (k_2>0) ( k 2 > 0 )
귀무가설 H 0 H_0 H 0
P [ ( X 1 , X 2 , … , X n ) ∈ C ∣ H 0 ] = P ( X ≥ i ) = ∑ i = 1 n ( n x ) p 0 x ( 1 − p 0 ) n − x \begin{aligned} P[(X_1,X_2,\ldots, X_n)\in C|H_0] &=P(X\ge i) \\ &=\sum_{i=1}^{n}\binom{n}{x}p_0^x(1-p_0)^{n-x} \end{aligned} P [ ( X 1 , X 2 , … , X n ) ∈ C ∣ H 0 ] = P ( X ≥ i ) = i = 1 ∑ n ( x n ) p 0 x ( 1 − p 0 ) n − x 이므로 기각영역 C ∗ = { x : x ≥ i } C^*=\{x:x\ge i\} C ∗ = { x : x ≥ i }
α = ∑ i = 1 n ( n x ) p 0 x ( 1 − p 0 ) n − x \alpha=\sum_{i=1}^{n}\binom{n}{x}p_0^x(1-p_0)^{n-x} α = i = 1 ∑ n ( x n ) p 0 x ( 1 − p 0 ) n − x 로 주어진다. 참고로 [ p 0 ( 1 − p 1 ) p 1 ( 1 − p 0 ) ] \left[\dfrac{p_0(1-p_1)}{p_1(1-p_0)}\right] [ p 1 ( 1 − p 0 ) p 0 ( 1 − p 1 ) ] log k 1 \text{log }k_1 log k 1 k 2 k_2 k 2 k 1 k_1 k 1 x x x [ p 0 ( 1 − p 1 ) p 1 ( 1 − p 0 ) ] x \left[\dfrac{p_0(1-p_1)}{p_1(1-p_0)}\right]^x [ p 1 ( 1 − p 0 ) p 0 ( 1 − p 1 ) ] x k 1 k_1 k 1 k 1 k_1 k 1
\\[20pt]
예 5.10 X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n EXP ( λ ) \text{EXP}(\lambda) EXP ( λ )
H 0 : λ = λ 0 vs H 0 : λ = λ 1 ( > λ 0 ) H_0:\lambda=\lambda_0\quad \text{vs}\quad H_0:\lambda=\lambda_1\ (>\lambda_0) H 0 : λ = λ 0 vs H 0 : λ = λ 1 ( > λ 0 ) 에 대한 가능도비는 다음과 같이 주어진다.
L R ( λ 0 , λ 1 ; x 1 , x 2 , … , x n ) = λ 0 − n exp ( − ∑ i = 1 n x i / λ 0 ) λ 1 − n exp ( − ∑ i = 1 n x i / λ 1 ) = ( λ 1 λ 0 ) n exp [ ( 1 λ 1 − 1 λ 0 ) ∑ i = 1 n x i ] \begin{aligned} LR(\lambda_0,\lambda_1;x_1,x_2,\ldots,x_n) &=\dfrac{\lambda_0^{-n}\exp(-\sum_{i=1}^{n}x_i/\lambda_0)} {\lambda_1^{-n}\exp(-\sum_{i=1}^{n}x_i/\lambda_1)} \\[15pt] &=\left(\dfrac{\lambda_1}{\lambda_0}\right)^n \exp\left[\left(\dfrac{1}{\lambda_1}-\dfrac{1}{\lambda_0}\right)\sum_{i=1}^{n}x_i\right] \end{aligned} L R ( λ 0 , λ 1 ; x 1 , x 2 , … , x n ) = λ 1 − n exp ( − ∑ i = 1 n x i / λ 1 ) λ 0 − n exp ( − ∑ i = 1 n x i / λ 0 ) = ( λ 0 λ 1 ) n exp [ ( λ 1 1 − λ 0 1 ) i = 1 ∑ n x i ] 가 된다. 그런데 λ 1 > λ 0 \lambda_1>\lambda_0 λ 1 > λ 0 1 λ 1 − 1 λ 0 < 0 \dfrac{1}{\lambda_1}-\dfrac{1}{\lambda_0}<0 λ 1 1 − λ 0 1 < 0 L R ( λ 0 , λ 1 ; x 1 , x 2 , … , x n ) ≤ k LR(\lambda_0,\lambda_1;x_1,x_2,\ldots,x_n)\le k L R ( λ 0 , λ 1 ; x 1 , x 2 , … , x n ) ≤ k ∑ i = 1 n x i ≥ k 1 \sum_{i=1}^{n}x_i\ge k_1 ∑ i = 1 n x i ≥ k 1 k 1 = log [ ( λ 0 λ 1 ) n k ] / ( 1 / λ 1 − 1 / λ 0 ) k_1=\log[(\lambda_0\lambda_1)^n k]/(1/\lambda_1-1/\lambda_0) k 1 = log [ ( λ 0 λ 1 ) n k ] / ( 1 / λ 1 − 1 / λ 0 )
C = { ( x 1 , x 2 , … , x n ) : ∑ i = 1 n x i ≥ k 1 } C=\{(x_1,x_2,\ldots,x_n):\sum_{i=1}^{n}x_i\ge k_1\} C = { ( x 1 , x 2 , … , x n ) : i = 1 ∑ n x i ≥ k 1 } 의 꼴로 주어진다. 그런데 귀무가설 하에, 즉 λ = λ 0 \lambda=\lambda_0 λ = λ 0 2 ∑ i = 1 n x i / λ 0 ∼ χ α 2 ( 2 n ) 2\sum_{i=1}^{n}x_i/\lambda_0\sim \chi_\alpha^2(2n) 2 ∑ i = 1 n x i / λ 0 ∼ χ α 2 ( 2 n ) α \alpha α
P [ ∑ i = 1 n X i ≥ k 1 ∣ λ = λ 0 ] = α P\left[\sum_{i=1}^{n}X_i\ge k_1|\lambda=\lambda_0\right]=\alpha P [ i = 1 ∑ n X i ≥ k 1 ∣ λ = λ 0 ] = α 로부터
C = { ( x 1 , x 2 , … , x n ) : ∑ i = 1 n x i ≥ ( λ 0 / 2 ) χ α 2 ( 2 n ) } C=\{(x_1,x_2,\ldots,x_n):\sum_{i=1}^{n}x_i\ge (\lambda_0/2)\chi_\alpha^2(2n)\} C = { ( x 1 , x 2 , … , x n ) : i = 1 ∑ n x i ≥ ( λ 0 / 2 ) χ α 2 ( 2 n ) } 으로 주어진다.
\\[20pt]
예 5.11 X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n N ( μ , 1 ) N(\mu,1) N ( μ , 1 )
H 0 : μ = μ 0 vs H 0 : μ = μ 1 ( > μ 0 ) H_0:\mu = \mu_0\quad\text{vs}\quad H_0:\mu = \mu_1(>\mu_0) H 0 : μ = μ 0 vs H 0 : μ = μ 1 ( > μ 0 ) 고려해보자. 네이만-피터슨 정리를 사용하기 위한 가능도비는 다음과 같이 사용됨.
L R ( μ 0 , μ 1 ; x 1 , x 2 , … , x n ) = ( 2 π ) − n / 2 exp [ − ∑ i = 1 n ( x i − μ 0 ) 2 / 2 ] ( 2 π ) − n / 2 exp [ − ∑ i = 1 n ( x i − μ 1 ) 2 / 2 ] \begin{aligned} LR(\mu_0,\mu_1;x_1,x_2,\ldots,x_n) &=\dfrac{(2\pi)^{-n/2}\exp\left[-\sum_{i=1}^{n}(x_i-\mu_0)^2/2\right]}{(2\pi)^{-n/2}\exp\left[-\sum_{i=1}^{n}(x_i-\mu_1)^2/2\right]} \end{aligned} L R ( μ 0 , μ 1 ; x 1 , x 2 , … , x n ) = ( 2 π ) − n / 2 exp [ − ∑ i = 1 n ( x i − μ 1 ) 2 / 2 ] ( 2 π ) − n / 2 exp [ − ∑ i = 1 n ( x i − μ 0 ) 2 / 2 ] 여기에서 가능도비가 어떤 상수 k k k
= exp [ − ∑ i = 1 n ( x i − μ 0 ) 2 / 2 + ∑ i = 1 n ( x i − μ 1 ) 2 / 2 ] = exp [ − n ( μ 1 − μ 0 ) x ˉ n − n ( μ 0 2 − μ 1 2 ) / 2 ] ≤ k \begin{aligned} &=\exp\left[-\sum_{i=1}^{n}(x_i-\mu_0)^2/2+\sum_{i=1}^{n}(x_i-\mu_1)^2/2\right] \\[15pt] &=\exp\left[-n(\mu_1-\mu_0)\bar{x}_n-n(\mu_0^2-\mu_1^2)/2\right] \\[10pt] &\le k \end{aligned} = exp [ − i = 1 ∑ n ( x i − μ 0 ) 2 / 2 + i = 1 ∑ n ( x i − μ 1 ) 2 / 2 ] = exp [ − n ( μ 1 − μ 0 ) x ˉ n − n ( μ 0 2 − μ 1 2 ) / 2 ] ≤ k 와 동등하다. 그런데 μ 1 − μ 0 > 0 \mu_1-\mu_0>0 μ 1 − μ 0 > 0 μ 0 2 − μ 1 2 \mu_0^2-\mu_1^2 μ 0 2 − μ 1 2 k 1 k_1 k 1
x ˉ n ≥ k 1 \bar{x}_n\ge k_1 x ˉ n ≥ k 1 과 동등하게 된다. 따라서 유의수준이 α \alpha α
C = { ( x 1 , x 2 , … , x n ) : x ˉ n ≥ k 1 } C=\{(x_1,x_2,\ldots,x_n):\bar{x}_n\ge k_1\} C = { ( x 1 , x 2 , … , x n ) : x ˉ n ≥ k 1 } 로 주어지며, 여기에서 상수 k 1 k_1 k 1
P ( X ˉ n ≥ k 1 ∣ μ 0 ) = α P(\bar{X}_n\ge k_1|\mu_0)=\alpha P ( X ˉ n ≥ k 1 ∣ μ 0 ) = α 를 만족하고, n ( X ˉ − μ 0 ) \sqrt{n}(\bar{X}-\mu_0) n ( X ˉ − μ 0 ) H 0 H_0 H 0 N ( 0 , 1 ) N(0,1) N ( 0 , 1 )
P ( X ˉ n ≥ k 1 ∣ μ 0 ) = P ( n ( X ˉ − μ 0 ) ≥ n ( k 1 − μ 0 ) ∣ μ 0 ) = α P(\bar{X}_n\ge k_1|\mu_0)=P(\sqrt{n}(\bar{X}-\mu_0)\ge \sqrt{n}(k_1-\mu_0)|\mu_0)=\alpha P ( X ˉ n ≥ k 1 ∣ μ 0 ) = P ( n ( X ˉ − μ 0 ) ≥ n ( k 1 − μ 0 ) ∣ μ 0 ) = α 로부터 n ( k 1 − μ 0 ) = z α \sqrt{n}(k_1-\mu_0)=z_{\alpha} n ( k 1 − μ 0 ) = z α
C = { ( x 1 , x 2 , … , x n ) : x ˉ n ≥ μ + z α / n } C=\{(x_1,x_2,\ldots,x_n):\bar{x}_n\ge \mu+z_{\alpha}/\sqrt{n}\} C = { ( x 1 , x 2 , … , x n ) : x ˉ n ≥ μ + z α / n } 이 된다.
[참고문헌]
