예
- 병을 치료하는데 기존 방법과 새로운 방법 사이 효과의 차이
- '기계부품의 평균수명이 어느정도 이상이다' 라는 가설 검정
검정의 기본 요소
통계적 가설 statistical hypothesis
- 관심있는 모집단의 성질에 대한 추측
단순가설과 복합가설
- 단순가설 simple hypothesis
- 어떤 가설이 확률분포를 완전히 결정한다
- 예
- N(μ,σ2)μ=0,σ2=1 가설
- 복합가설 composite hypothesis
- 단순가설이 아닌 통계적 가설
- 예
- $\mathcal{N}(\mu,\sigma ^{2})$ $\mu>a$
- 이 가설이 참이라면 모수가 여러가지 값들을 가질수 있으므로, 완전히 결정되지 않는다
귀무가설과 대립가설
- 귀무가설 null hypothesis
- 지금까지 알려져 있는 사실 혹은 주장
- 특별한 사유가 없으면 받아들이는 가설
- 대립가설 alternative hypothesis
- 지금까지 알려져있는 것과 다른 주장
- 이를 뒷받침할 근거가 있어야지 받아들이게 되는 가설
검정통계량 test statistic
- 주어진 랜덤표본 X1,X2,⋯,Xn 에 근거하여 통계적 가설에 대한 증거를 살펴볼 때 사용되는 통계량
기각 영역 rejection region
- 귀무가설을 기각하는 검정통계량의 값을 갖는 표본공간의 부분집합
제 1종 오류, 제 2종 오류
- 귀무가설을 기각하는 것은 Positive, 귀무가설을 채택하는 것은 Negative로 칭한다
- 제 1종 오류 Type 1 error : FP
- 귀무가설이 참인데 기각하는 오류
- 판단이 Positive, 실제는 Negative
- 제 2종 오류 Type 2 error : FN
- 귀무가설이 참이 아닌데 기각하지 않는 오류
- 판단이 Negative, 실제는 Positive
- TP, TF는 각각 귀무가설이 참이여서 채택하고, 귀무가설이 참이 아니여서 기각하는 맞는 판단이다
![[KakaoTalk_Photo_2023-03-24-17-39-30.jpeg]]
유의수준 α significance level
- 가설검정에서 제 1종 오류(FP)를 일으킬 확률의 상한을 정한 것이다.
- 귀무가설 모델이 참일 때 기각역에 있을 확률이다
- 귀무가설을 기각하는데 기준이 되는 확률
- p≤α 라면 귀무가설을 기각한다
- p>α 라면 귀무가설을 기각하지 못한다
β
- 가설검정에서 제 2종 오류(FN)를 일으킬 확률의 상한을 정한것이다
- 대립가설 모델이 참일 때 채택역에 있을 확률이다
검정력 power
- 대립가설 모델이 참일 때 기각역 하에 있을 확률이다.
- 1−β (β 는 대립가설이 참일 때 채택역에 있을 확률)을 갖는다
- 조건
- 랜덤표본 X1,X2,⋯,Xn 이 있다하자
- 대립가설의 모수를 θ1라고하자
- 정의
- π(θ1)=Pθ1[(X1,X2,⋯,Xn)∈C∣θ1]
유의확률 p-value
- 귀무가설이 참이라는 가정하에 관측치 이상의 극단적인 값을 가질 확률
- 극단적이란 대립가설에 부합할만한 관측치임을 의미한다
- 또한 해당 p값을 보고 귀무가설을 기각(positve로 판단)하였을 때, 제 1종 오류일 확률이기도 하다
통계에서의 보수conservative 와 진보liberal 성
- 보수
- 제 1종 오류(FP)를 최소화 하기 위해 α 값을 잡게 잡는다
- 의약품 개발에서는 상당히 보수적으로 접근한다
- 진보
- 제 2종 오류(FN)를 최소화 하기 위해 α 값을 크게 잡는다
최강력 검정법
best critical region / most powerful rejection region
인트로
- 옳은 결과를 가져다주는 빈도가 높은 검정법을 찾는 것을 목적으로 한다
- 제 1종 오류와 제 2 종 오류 모두의 오류를 줄일 검정법을 찾아야 한다
조건
- 귀무가설 H:θ=θ0 라고 하자
- 대립가설 H:θ=θ1 라고 하자
- 이 조건은 Ω={θ0,θ1} 임을 내포한다
- 기각영역 C∗ 에 대한 검정력 함수 π∗ 에 대하여 π∗(θ0)=α , 임의의 기각영역 C에 대한 검정력 함수 π 에 대하여 π∗(θ1)≥π(θ1) 이라 하자
정의
- C∗ 를 최강력 기각영역이라 부른다
의미
- 제 1 종 오류의 신뢰수준이 α인 동시에 제 2종 오류를 최소화(대립가설이 참일때 기각역에 추정량이 있을 확률을 극대화 함으로써)하는 방법이다
네이만-피어슨 정리
Neyman-Pearson Theorem
조건
- 랜덤표본 X1,X2,⋯,Xn 의 확률결합밀도 f(x1,x2,⋯,xn;θ) 가 주어졌다고 하자
- 귀무가설 H0:θ=θ0 과 대립가설 H1:θ=θ1 이 주어졌다고 하자
- 표본의 어떤 부분집합 C∗ 가 어떤 상수 k>0 에 대하여 다음과 같은 조건을 만족시킨다고 하자
1. (x1,x2,⋯,xn)∈C∗ 에 대하여 LR(θ0,θ1)=L(θ0;x1,x2,⋯,xn/L(θ1;x1,x2,⋯,xn))≤k
2. (x1,x2,⋯,xn)∈C∗ 에 대하여 LR(θ0,θ1)=L(θ0;x1,x2,⋯,xn)/L(θ1;x1,x2,⋯,xn)≥k
3. P[(X1,X2,⋯,Xn)∈C∗[θ0]]=α
- (제 1종 오류일 확률이 α로 해석)
정리
- C∗는 가설검정 유의수준 α인 최강력 검정법의 기각영역이 된다
증명
- 증명하고자 하는 것은 ∫C∗L(θ1;x)dx−∫AL(θ1;x)dx≥0 이다 (이는 대립가설이 참일때 최강력검정력 위에 있을 확률과 A에 있을 확률의 차를 구한 것이다.)
- A 와 C∗ 를 다음과 같이 분해한다
- C∗=(C∗∩A)∪(C∗∩Ac)
- A=(C∗∩A)∪((C∗)c∩A)
- =∫(C∗∩Ac)−((C∗)c∩A)L(θ1;x)dx
- =∫C∗∩AcL(θ1;x)dx−∫(C∗)c∩AL(θ1;x)dx
- 1번 2번의 조건을 활용하면
- ≥k1∫C∗∩AcL(θ0;x)dx−k1∫(C∗)c∩AL(θ0;x)dx≥0
- ≥k1(∫C∗∩AcL(θ0;x)dx+∫C∗∩AL(θ0;x)dx−∫C∗∩AL(θ0;x)dx−∫(C∗)c∩AL(θ0;x)dx)≥0
- ≥k1(∫C∗L(θ0;x)dx−∫AL(θ0;x)dx)=(α−α)/k=0
의미
- 유의도가 α 가 되는 어떤 영역들 중에서 가능도비 LR=L(θ1;x)L(θ0;x) 가 가장 작은 영역이 있다면, 그 영역이 최강력 기각역이다
균일 최강력 검정법
uniformly most powerful test
조건
- 귀무가설 H0:θ=θ0∈Ω0
- 대립가설 H1:θ=θ1∈Ω−Ω0 이라고 하자
- 기각영역 C∗ 가 다음의 조건을 만족한다고 하자
1. π∗(θ0)=α
- (귀무가설의 모델이 기각역에 있을 확률이 α => 유의수준 α의 정의임)
2. 유의수준이 α 인 임의의 기각영역 C 에 대한 검정력함수가 π라면, 모든 θ∈Ω−Ω0 에서 π∗(θ)≥π(θ) 를 만족한다
- (단일 가설의 최강력 검정법이 확대된 개념)
정리
- C∗를 유의수준 α인 균일최강력 검정법의 기각영역이라고 한다
의미
- 어떤 검정방법이 복합 대립가설하에 가능한 모든 모수에 대하여 최강력 검정법이 되는 경우 이를 균일최강력 검정법이라 부른다(단순가설간의 검정방법을 대립가설에 가능한 모수들 일일히 대응해본다는 개념으로 생각하자)
단조가능도비
monotone likelihood ratio
조건
- 랜덤표본 X1,X2,⋯,Xn 이 있고, 그 결합확률밀도 f(x1,x2,⋯,xn;θ) 이 있다고 하자
- θ1<θ2 라고 하자
정의
- 가능도비 LR(θ1,θ2;x1,x2,⋯,xn)=L(θ1;x1,x2,⋯,xn)/R(θ2,θ2;x1,x2,⋯,xn) 가 θ1<θ2 에 대해 통계량 T(x1,x2,⋯,xn) 의 비감소함수 또는 비증가함수이면 가능도함수 L(θ)가 통계량 T(X1,X2,⋯,Xn) 에 대하여 단조가능도비를 갖는다고 부른다
유의사항
- 단조가능도비를 표현할때 LR=L(θ2,x)L(θ1,x) 에서 분모부 θ2 가 θ1<θ2 여야 한다
조건
- 가능도함수 L(θ;x1,x2,⋯,xn;θ) 가 통계량 T(X1,X2,⋯,Xn) 에 대하여 단조가능도비monotone likelihood ratio라고 하자
조건 1
- H0:θ≤θ0
- H1:θ>θ0
- 유의수준은 α 라고 하자
정의 1
- 균일최강력 검정법은 그 기각역이 C={(x1,x2,⋯,xn):T(x1,x2,⋯,xn)≥k} 이며 k 는 P[T(X1,X2,⋯,Xn)≥k∣θ0]=α 에 의해 정해진다
조건 2
- H0:θ≥θ0
- H1:θ<θ0
- 유의수준은 α 라고 하자
정의 2
- 균일최강력 검정법은 그 기각역이 C={(x1,x2,⋯,xn):T(x1,x2,⋯,xn)≤k} 이며, 상수 k는 P[T(X1,X2,⋯,Xn≤k∣θ0)]=α 에 의해 결정된다
증명
1. θ1>θ0 인 경우
- H0:θ=θ0 , H1:θ=θ1 인 경우의 가설검정을 고려하자
- 이 경우 Neyman-Pearson 정리에 따라 최강력 검정 기각역은 유의수준 α 를 만족하는 기각역중 가능도비 LR=L(θ1;x)L(θ0;x)) 이 가장 낮은 기각역이다
- 이를 수식으로 표현하면 LR=L(θ1;x)L(θ0;x)≤c 이다.
- θ1>θ0 라면 LR=L(θ1)L(θ0)는 T(x) 에 대한 비증가함수라는 가정이 있으므로, 기각역은 T(x1,x2,⋯xn)≥k 에서 유의수준 α 를 충족시키는 기각역이다
2. θ0>θ1 인 경우
- H0:θ=θ0 , H1:θ=θ1인 경우를 고려하자
- 가능도비 LR=L(θ1)L(θ0)≤c 는 L(θ0)L(θ1)≥1/c 로 바라볼 수 있다. 가능도비함수가 비증가함수란 가정이 있으므로 기각역은 T(x1,x2,⋯,xn)≤k 에서 유의수준 α를 충족시키는 기각역이다
-
-
일반화 가능도비 검정법
generalized likelihood ratio test
조건
- 랜덤표본 X1,X2,⋯,Xn 의 결합확률밀도함수가 f(x1,x2,⋯,xn;θ) 라고 주어졌다고 하자. 이제 H0:θ∈Ω0 대 H1:θ∈Ω1(Ω−Ω0) 를 고려하자
정의
- 일반화 가능도비는 다음과 같이 정의된다
- Λ(x1,x2,⋯,xn)=θ∈ΩmaxL(θ;x1,x2,⋯,xn)θ∈Ω0maxL(θ;x1,x2,⋯,xn)=L(θ^n)L(θ^0)
의미
- 네이슨-피어슨 정리에서는 귀무가설과 대립가설이 단순가설이였기 때문에 가능도비를 계산할 때 어떤 모수값을 분자,분모에 사용해야 하는지 명확하였다
- 일반화 가능도비에선 여러 가능한 모수값 중에서 가장 관측값을 잘 설명하는, 즉 실제로 관측할 자료가 얻어질 확률을 가장 높게 만드는 모수값을 활용한다
- Ω0⊂Ω 이기 때문에 일반화 가능도비 Λ 는 항상 0보다 크고 1을 넘길수가 없다.
- 만약 Λ 가 1에 가깝다는 것은 관측을 가장 잘 설명하는 모수값들이 귀무가설에 포하된다는 의미므로, 귀무가설을 채택할 근거가 된다
- 만약 Λ 가 0에 가깝다는 것은 대립가설이 귀무가설보다 관측한 자료들을 훨씬 잘 설명할수 있으므로 귀무가설을 기각할 증거가 된다
일반화 가능도비 검정법
- 0<Λ≤λ∗ 인 경우 H0 를 기각한다
- 단 λ∗ 는 max[P(0<Λ≤λ∗∣H0)]=α 를 만족시키는 상수이며 0<λ∗<1 이다
- 귀무가설이 참이라는 가정 하에 기각역에 있을 확률 == 유의수준 α 정의
- λ∗ 구하기
- 귀무가설하의 확률변수 Λ 의 확률분포함수 가 다음의 형태 f(λ∣H0) 를 띈다면 임계값 λ∗ 는 방정식 α=∫0λ∗f(λ∣H0)dλ 를 풀어 구할수 있지만, 일반적으로 Λ 의 분포는 알려져 있지 않다
이표본 검정법
두 정규분포의 비교
- 조건
- 서로 독립인 이표본 X1,X2,⋯,Xn 과 Y1,Y2,⋯,Ym 이 정규분포 N(μX,σX2)과 N(μY,σY2) 를 따른다고 하자
1. 모분산을 알고 모평균을 모평균을 추정하고자 하는 경우
- Z=(σX2/n+σY2/m)(Xn−Ym)−(μX−μY)∼N(0,1) 을 활용하면 된다
2. 모분산을 모르고 모평균을 추정하고자 하는 경우
- Sp=n+m−2(n−1)SX2+(m−1)SY2 , T=Sp1/n+1/m(Xn−Ym)−(μX−μY)∼t(n+m−2) 를 따른다는 사실을 활용하면 된다
- 예
* 검정력 기존 정의 백업
2023.03.30
검정력 power
- 랜덤 표본이 기각역안에 있을 확률로 귀무가설을 기각할 확률을 의미한다
- 귀무가설 모델에서
- 단순가설이라면 귀무가설모셀에서 α값과 같다
- 대립가설 모델에서
- 단순가설이라면 1−β 와 같다
단조가능도비 성질
- 성질
- 확률밀도함수 f(x;θ)=a(θ)b(x)exp[i=1∑kci(θ)ti(x)]의 ci(θ)가 θ 에 대하여 monotonic하다면 i∑ci(θ) 에 대하여 monotone likelihood ratio를 갖는다
- 책에선 통계량에 대하여 정의하였지만, 김충락 교수님 수리통계 강의 를 참고하면 모수 θ 에 대한 단조가능도비라는 표현도 쓰는 것 같음
모분산모르고 모평균 추정
- 증명
- L(θ′′)L(θ′)=a(θ′′)b(x)⋅exp[i∑ci(θ′′)⋅ti(x)]a(θ′)b(x)⋅exp[i∑ci(θ′)⋅ti(x)]
- =exp[i∑(ci(θ)−ci(θ′′))⋅ti]⋅a(θ′′)a(θ′)
- i∑ci(θ′)−ci(θ′′) 에 대하여 함수가 monotonic하다
- 조건
- 서로 독립인 이표본 $X _{1},X _{2},\cdots, X _{n}$ 과 $Y _{1},Y _{2},\cdots,Y _{m}$ 이 정규분포 $\mathcal{N}(\mu _{X},\sigma ^{2}_{X})$과 $\mathcal{N}(\mu _{Y},\sigma _{Y} ^{2})$ 를 따른다고 하자
- 가설 $H _{0}: \mu _{X}=\mu _{Y}$ , $H _{1}:\mu _{X} \neq \mu _{Y}$ 를 세우고 유의수준 $\alpha$인 검증법을 시행하자
- 풀이
- 일반화가능도비 검정통계량을 찾아 풀이하도록 하자
- 우선 일반화가능도비 검정통계를 위하여 MLE를 구하고자 한다
- 전체 모수공간 $\Omega$내에서의 MLE는
- $f(\boldsymbol{x},\boldsymbol{y};\mu _{X},\mu _{Y},\sigma ^{2})=(\displaystyle\frac{1}{2 \pi \sigma ^{2}}) ^{n/2}\cdot (\displaystyle\frac{1}{2 \pi \sigma ^{2}}) ^{m/2}\cdot exp[-\displaystyle\frac{1}{2}\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma}) ^{2}}-\displaystyle\frac{1}{2}\displaystyle\sum\limits_{j=1}^{m}{(\displaystyle\frac{y _{j}-\mu _{Y}}{\sigma}) ^{2}}]$
- $=(\displaystyle\frac{1}{2 \pi \sigma ^{2}}) ^{(n+m)/2}exp[-\displaystyle\frac{1}{2}(\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma}) ^{2}+\displaystyle\sum\limits_{j=1}^{m}{(\displaystyle\frac{y _{j}-\mu _{Y}}{\sigma}) ^{2}}})]$
- $\cfrac{\partial {f}}{\partial {\mu _{X}}}=\alpha \cdot exp[\cdot ]\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma})}=0$
- $\displaystyle\sum\limits_{i=1}^{n}{x _{i}}=n \mu _{X}$ $\hat{\mu}_{X}=\displaystyle\frac{1}{n}\displaystyle\sum\limits_{i=1}^{n}{x _{i}}$ $\mu _{Y}=\displaystyle\frac{1}{m}\displaystyle\sum\limits_{j=1}^{m}{y _{j}}$ 임을 알 수 있다
- $F=\log_{}{(f)}=-(n+m)/2 \cdot \log_{}{(2 \cdot \pi \cdot \sigma ^{2})}-\displaystyle\frac{1}{2}(\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(\displaystyle\frac{y _{j}-\mu _{Y}}{\sigma }) ^{2}})$
- $\cfrac{\partial {F}}{\partial {\sigma}}=-\displaystyle\frac{n+m}{2}\cdot \displaystyle\frac{2 \sigma}{\sigma ^{2}}+(\displaystyle\sum\limits_{i=1}^{n}{\displaystyle\frac{(x _{i}-\mu _{X}) ^{2}}{\sigma ^{3}}}+\displaystyle\sum\limits_{j=1}^{m}{\displaystyle\frac{(y _{j}-\mu _{Y}) ^{2}}{\sigma ^{3}}})$
- $(n+m)\sigma ^{2}=(\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\mu _{X}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{i}-\mu _{Y}) ^{2}})$
- $\hat{\sigma} ^{2}=\displaystyle\frac{(\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\mu _{X}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{i}-\mu _{Y}) ^{2}})}{n+m}$
- 귀무가설이 참이라는 가정하($\Omega _{0}$) 모평균과 분산의 값은
- $\hat{\mu}_{0}=\displaystyle\frac{1}{n+m}(\displaystyle\sum\limits_{i=1}^{n}{x _{i}} +\displaystyle\sum\limits_{j=1}^{m}{y _{j}})=\displaystyle\frac{n \overline{x}+m \overline{y}}{n+m}$
- $\hat{\sigma ^{2}} _{0}=\displaystyle\frac{1}{n+m}[\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\hat{\mu}_{0}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\hat{\mu}_{0}) ^{2}}]$ 이다
- 그런데 $\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\hat{\mu} _{0} ^{2})}=\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}+\displaystyle\frac{m ^{2}n}{(n+m) ^{2}}(\overline{x}_{n}-\overline{y}_{m})}$ 이고, 같은 방식으로 $\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\hat{\mu}_{0}) ^{2}}=\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y}) ^{2}+\displaystyle\frac{nm ^{2}}{(n+m) ^{2}}(\overline{x}_{n}-\overline{y}_{m}) ^{2}}$
- 따라서 귀무가설하에 공통분산의 최대가능도추정량은 다음과 같다
- $\hat{\sigma} ^{2}_{0}=\displaystyle\frac{1}{n+m}[\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y}_{m}) ^{2}+\displaystyle\frac{nm}{n+m}(\overline{x}_{n}-\overline{y}_{m}) ^{2}}}]$
- 따라서 일반화가능도비 $\Lambda$ 는
- $\Lambda=\displaystyle\frac{L(\text{귀무가설})}{L(\text{대립가설})}=[1+\displaystyle\frac{(nm/(n+m))(\overline{x}_{n}-\overline{y}_{m})}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y}_m) ^{2}}}] ^{-(n+m)/2}$ 이다
- 일반화 가능도비 $\Lambda$ 는 $T=\displaystyle\frac{\sqrt{\displaystyle\frac{nm}{n+m}(\overline{x}_{n}-\overline{y}_{m})}}{\sqrt{\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y} _{m}) ^{2}}}}{n+m-2}}}$ 에 의한 함수로 표현되어 $\Lambda=[\displaystyle\frac{1}{1+T ^{2}/(n+m-2)}] ^{(n+m)/2}$ 로 표현될 수 있다
- 위에 식으로부터 $\Lambda$는 $T ^{2}$ 의 단조감수함수가 됨을 알 수 있다.