수리통계- 5. 가설검정

WooSeongkyun·2023년 3월 25일
0

수리통계학

목록 보기
5/6
flowchart TD
A1["가설검정"] --- A2_1["*검정의 기본요소"]
A2_1["*검정의 기본요소"] --- A2_1_1["대립가설"]
A2_1["*검정의 기본요소"] --- A2_1_2["귀무가설"]
A2_1["*검정의 기본요소"] --- A2_1_3["검정통계량"]
A2_1["*검정의 기본요소"] --- A2_1_4["오류"]
A2_1_4["오류"] --- A_2_1_4_1["1종 오류"]
A2_1_4["오류"] --- A_2_1_4_2["2종 오류"]
A_2_1_4_1["1종 오류"] --- A_2_1_4_1_1["유의수준"]
A_2_1_4_2["2종 오류"] --- A_2_1_4_1_2["검정력"]
A1["가설검정"] --- A2_2["최강력 기각역 찾기"]
A2_2["최강력 기각역 찾기"] --- A2_2_1["네이만 피어슨 정리"]
A2_2_1["네이만 피어슨 정리"] --- A2_2_1_1["균일 최강력 검정"]
A2_2_1_1["균일 최강력 검정"] --- A2_2_1_1_1["일반화 가능도비"]

통계적 추론

  • 통계적 추론은 추정(모수에 가까운 통계량 찾기)과 가설검정으로 이루어진다
  • 추정
    - 가능한 모수값을 찾는것
  • 검정이론
    - 모집단의 성질에 대한 어떤 가설을 받아들일 것인가 기각할 것인가를 결정함

  • - 병을 치료하는데 기존 방법과 새로운 방법 사이 효과의 차이
    - '기계부품의 평균수명이 어느정도 이상이다' 라는 가설 검정

검정의 기본 요소

  • 통계적 가설 statistical hypothesis
    - 관심있는 모집단의 성질에 대한 추측
  • 단순가설과 복합가설
    - 단순가설 simple hypothesis
    - 어떤 가설이 확률분포를 완전히 결정한다
    - 예
    - N(μ,σ2)\mathcal{N}(\mu,\sigma ^{2}) μ=0,σ2=1\mu=0,\sigma ^{2}=1 가설
    	- 복합가설 composite hypothesis
    		- 단순가설이 아닌 통계적 가설
    		- 예
    			- $\mathcal{N}(\mu,\sigma  ^{2})$ $\mu>a$ 
    			- 이 가설이 참이라면 모수가 여러가지 값들을 가질수 있으므로, 완전히 결정되지 않는다
  • 귀무가설과 대립가설
    - 귀무가설 null hypothesis
    - 지금까지 알려져 있는 사실 혹은 주장
    - 특별한 사유가 없으면 받아들이는 가설
    - 대립가설 alternative hypothesis
    - 지금까지 알려져있는 것과 다른 주장
    - 이를 뒷받침할 근거가 있어야지 받아들이게 되는 가설
  • 검정통계량 test statistic
    - 주어진 랜덤표본 X1,X2,,XnX _{1},X _{2},\cdots,X _{n} 에 근거하여 통계적 가설에 대한 증거를 살펴볼 때 사용되는 통계량
  • 기각 영역 rejection region
    - 귀무가설을 기각하는 검정통계량의 값을 갖는 표본공간의 부분집합
  • 제 1종 오류, 제 2종 오류
    - 귀무가설을 기각하는 것은 Positive, 귀무가설을 채택하는 것은 Negative로 칭한다
    	- 제 1종 오류 Type 1 error : FP
    		- 귀무가설이 참인데 기각하는 오류
    		- 판단이 Positive, 실제는 Negative
    	- 제 2종 오류 Type 2 error : FN
    		- 귀무가설이 참이 아닌데 기각하지 않는 오류
    		- 판단이 Negative, 실제는 Positive
    	- TP, TF는 각각 귀무가설이 참이여서 채택하고, 귀무가설이 참이 아니여서 기각하는 맞는 판단이다
  • ![[KakaoTalk_Photo_2023-03-24-17-39-30.jpeg]]
  • 유의수준 α\alpha significance level
    - 가설검정에서 제 1종 오류(FPFP)를 일으킬 확률의 상한을 정한 것이다.
    - 귀무가설 모델이 참일 때 기각역에 있을 확률이다
    - 귀무가설을 기각하는데 기준이 되는 확률
    - pαp \le \alpha 라면 귀무가설을 기각한다
    - p>αp>\alpha 라면 귀무가설을 기각하지 못한다
  • β\beta
    - 가설검정에서 제 2종 오류(FN)를 일으킬 확률의 상한을 정한것이다
    - 대립가설 모델이 참일 때 채택역에 있을 확률이다
  • 검정력 power
    - 대립가설 모델이 참일 때 기각역 하에 있을 확률이다.
    - 1β1-\beta (β\beta 는 대립가설이 참일 때 채택역에 있을 확률)을 갖는다
    - 조건
    - 랜덤표본 X1,X2,,XnX _{1},X _{2},\cdots,X _{n} 이 있다하자
    - 대립가설의 모수를 θ1\theta _{1}라고하자
    - 정의
    - π(θ1)=Pθ1[(X1,X2,,Xn)Cθ1]\pi(\theta _{1})=P _{\theta _{1}}[(X _{1},X _{2},\cdots,X _{n})\in C|\theta _{1}]
  • 유의확률 p-value
    - 귀무가설이 참이라는 가정하에 관측치 이상의 극단적인 값을 가질 확률
    - 극단적이란 대립가설에 부합할만한 관측치임을 의미한다
    - 또한 해당 pp값을 보고 귀무가설을 기각(positve로 판단)하였을 때, 제 1종 오류일 확률이기도 하다
  • 통계에서의 보수conservative 와 진보liberal 성
    - 보수
    - 제 1종 오류(FP)를 최소화 하기 위해 α\alpha 값을 잡게 잡는다
    - 의약품 개발에서는 상당히 보수적으로 접근한다
    - 진보
    - 제 2종 오류(FN)를 최소화 하기 위해 α\alpha 값을 크게 잡는다

최강력 검정법

best critical region / most powerful rejection region

  • 인트로
    - 옳은 결과를 가져다주는 빈도가 높은 검정법을 찾는 것을 목적으로 한다
    - 제 1종 오류와 제 2 종 오류 모두의 오류를 줄일 검정법을 찾아야 한다
  • 조건
    - 귀무가설 H:θ=θ0H:\theta=\theta _{0} 라고 하자
    - 대립가설 H:θ=θ1H:\theta = \theta _{1} 라고 하자
    - 이 조건은 Ω={θ0,θ1}\Omega=\{ \theta _{0},\theta _{1} \} 임을 내포한다
    - 기각영역 CC ^{*} 에 대한 검정력 함수 π\pi ^{*} 에 대하여 π(θ0)=α\pi ^{*}(\theta _{0})=\alpha , 임의의 기각영역 CC에 대한 검정력 함수 π\pi 에 대하여 π(θ1)π(θ1)\pi ^{*}(\theta _{1})\ge \pi(\theta _{1}) 이라 하자
  • 정의
    - CC ^{*} 를 최강력 기각영역이라 부른다
  • 의미
    - 제 1 종 오류의 신뢰수준이 α\alpha인 동시에 제 2종 오류를 최소화(대립가설이 참일때 기각역에 추정량이 있을 확률을 극대화 함으로써)하는 방법이다

네이만-피어슨 정리

Neyman-Pearson Theorem

  • 조건
    - 랜덤표본 X1,X2,,XnX _{1},X _{2},\cdots,X _{n} 의 확률결합밀도 f(x1,x2,,xn;θ)f(x _{1},x _{2},\cdots,x _{n};\theta) 가 주어졌다고 하자
    - 귀무가설 H0:θ=θ0H _{0}:\theta=\theta _{0} 과 대립가설 H1:θ=θ1H _{1}:\theta=\theta _{1} 이 주어졌다고 하자
    - 표본의 어떤 부분집합 CC ^{*} 가 어떤 상수 k>0k>0 에 대하여 다음과 같은 조건을 만족시킨다고 하자
    1. (x1,x2,,xn)C(x _{1},x _{2},\cdots,x _{n})\in C ^{*} 에 대하여 LR(θ0,θ1)=L(θ0;x1,x2,,xn/L(θ1;x1,x2,,xn))kLR(\theta _{0},\theta _{1})=L(\theta _{0};x _{1},x _{2},\cdots,x _{n}/L(\theta _{1};x _{1},x _{2},\cdots,x _{n}))\le k
    2. (x1,x2,,xn)∉C(x _{1},x _{2},\cdots,x _{n}) \not \in C ^{*} 에 대하여 LR(θ0,θ1)=L(θ0;x1,x2,,xn)/L(θ1;x1,x2,,xn)kLR(\theta _{0},\theta _{1})=L(\theta _{0};x _{1},x _{2},\cdots, x _{n})/L(\theta _{1};x _{1},x _{2},\cdots,x _{n})\ge k
    3. P[(X1,X2,,Xn)C[θ0]]=αP[(X _{1},X _{2},\cdots,X _{n})\in C ^{*}[\theta _{0}]]=\alpha
    - (제 1종 오류일 확률이 α\alpha로 해석)
  • 정리
    - CC ^{*}는 가설검정 유의수준 α\alpha인 최강력 검정법의 기각영역이 된다
  • 증명
    - 증명하고자 하는 것은 CL(θ1;x)dxAL(θ1;x)dx0\displaystyle\int_{C ^{*}}^{}{L(\theta _{1};x)dx}-\displaystyle\int_{A}^{}{L(\theta _{1};x)dx \ge 0} 이다 (이는 대립가설이 참일때 최강력검정력 위에 있을 확률과 AA에 있을 확률의 차를 구한 것이다.)
    - AACC ^{*} 를 다음과 같이 분해한다
    - C=(CA)(CAc)C ^{*}=(C ^{*} \cap A )\cup (C ^{*} \cap A ^{c})
    - A=(CA)((C)cA)A =(C ^{*} \cap A )\cup ((C ^{*}) ^{c} \cap A )
    - =(CAc)((C)cA)L(θ1;x)dx=\displaystyle\int_{(C ^{*} \cap A ^{c})-((C ^{*}) ^{c}\cap A)}^{}{L(\theta _{1};x)dx}
    - =CAcL(θ1;x)dx(C)cAL(θ1;x)dx=\displaystyle\int_{C ^{*} \cap A ^{c}}^{}{L(\theta _{1};x)dx}-\displaystyle\int_{(C ^{*}) ^{c} \cap A}^{}{L(\theta _{1};x)dx}
    - 1번 2번의 조건을 활용하면
    - 1kCAcL(θ0;x)dx1k(C)cAL(θ0;x)dx0\ge \displaystyle\frac{1}{k}\displaystyle\int_{C ^{*} \cap A ^{c}}^{}{L(\theta _{0};x)dx}-\displaystyle\frac{1}{k}\displaystyle\int_{(C ^{*}) ^{c} \cap A}^{}{L(\theta _{0};x)dx \ge 0}
    - 1k(CAcL(θ0;x)dx+CAL(θ0;x)dxCAL(θ0;x)dx(C)cAL(θ0;x)dx)0\ge \displaystyle\frac{1}{k}(\displaystyle\int_{C ^{*} \cap A ^{c}}^{}{L(\theta _{0};x)dx}+\displaystyle\int_{C ^{*} \cap A }^{}{L(\theta _{0};x)dx}-\displaystyle\int_{C ^{*} \cap A }^{}{L(\theta _{0};x)dx}-\displaystyle\int_{(C ^{*}) ^{c} \cap A}^{}{L(\theta _{0};x)dx )\ge 0}
    - 1k(CL(θ0;x)dxAL(θ0;x)dx)=(αα)/k=0\ge \displaystyle\frac{1}{k}(\displaystyle\int_{C ^{*} }^{}{L(\theta _{0};x)dx}-\displaystyle\int_{ A}^{}{L(\theta _{0};x)dx )=(\alpha-\alpha)/k=0}
  • 의미
    - 유의도가 α\alpha 가 되는 어떤 영역들 중에서 가능도비 LR=L(θ0;x)L(θ1;x)LR=\displaystyle\frac{L(\theta _{0};x)}{L(\theta _{1};x)} 가 가장 작은 영역이 있다면, 그 영역이 최강력 기각역이다

균일 최강력 검정법

uniformly most powerful test

  • 조건
    - 귀무가설 H0:θ=θ0Ω0H _{0}:\theta=\theta _{0} \in \Omega _{0}
    - 대립가설 H1:θ=θ1ΩΩ0H _{1}:\theta=\theta _{1}\in \Omega - \Omega _{0} 이라고 하자
    - 기각영역 CC ^{*} 가 다음의 조건을 만족한다고 하자
    1. π(θ0)=α\pi ^{*}(\theta _{0})=\alpha
    - (귀무가설의 모델이 기각역에 있을 확률이 α\alpha => 유의수준 α\alpha의 정의임)
    2. 유의수준이 α\alpha 인 임의의 기각영역 CC 에 대한 검정력함수가 π\pi라면, 모든 θΩΩ0\theta \in \Omega - \Omega _{0} 에서 π(θ)π(θ)\pi ^{*}(\theta)\ge \pi(\theta) 를 만족한다
    - (단일 가설의 최강력 검정법이 확대된 개념)
  • 정리
    - CC ^{*}를 유의수준 α\alpha인 균일최강력 검정법의 기각영역이라고 한다
  • 의미
    - 어떤 검정방법이 복합 대립가설하에 가능한 모든 모수에 대하여 최강력 검정법이 되는 경우 이를 균일최강력 검정법이라 부른다(단순가설간의 검정방법을 대립가설에 가능한 모수들 일일히 대응해본다는 개념으로 생각하자)

단조가능도비

monotone likelihood ratio

  • 조건
    - 랜덤표본 X1,X2,,XnX _{1},X _{2},\cdots,X _{n} 이 있고, 그 결합확률밀도 f(x1,x2,,xn;θ)f(x _{1},x _{2},\cdots,x _{n};\theta) 이 있다고 하자
    - θ1<θ2\theta _{1}<\theta _{2} 라고 하자
  • 정의
    - 가능도비 LR(θ1,θ2;x1,x2,,xn)=L(θ1;x1,x2,,xn)/R(θ2,θ2;x1,x2,,xn)LR(\theta _{1},\theta _{2};x _{1},x _{2},\cdots ,x _{n})=L(\theta _{1};x _{1},x _{2},\cdots ,x _{n})/R(\theta _{2},\theta _{2};x _{1},x _{2},\cdots ,x _{n})θ1<θ2\theta _{1}<\theta _{2} 에 대해 통계량 T(x1,x2,,xn)T(x _{1},x _{2},\cdots, x _{n}) 의 비감소함수 또는 비증가함수이면 가능도함수 L(θ)L(\theta)가 통계량 T(X1,X2,,Xn)T(X _{1},X _{2},\cdots ,X _{n}) 에 대하여 단조가능도비를 갖는다고 부른다

단측 복합 대립가설에 대한 균일최강력 검정법

uniformly most powerful test to one-sided compoiste hypothesis

  • 유의사항
    - 단조가능도비를 표현할때 LR=L(θ1,x)L(θ2,x)LR=\displaystyle\frac{L(\theta _{1},\boldsymbol{x})}{L(\theta _{2},\boldsymbol{x})} 에서 분모부 θ2\theta _{2}θ1<θ2\theta _{1}<\theta _{2} 여야 한다
  • 조건
    - 가능도함수 L(θ;x1,x2,,xn;θ)L(\theta;x _{1}, x _{2},\cdots,x _{n};\theta) 가 통계량 T(X1,X2,,Xn)T(X _{1},X _{2},\cdots,X _{n}) 에 대하여 단조가능도비monotone likelihood ratio라고 하자
  • 조건 1
    - H0:θθ0H _{0}:\theta \le \theta _{0}
    - H1:θ>θ0H _{1}:\theta>\theta _{0}
    - 유의수준은 α\alpha 라고 하자
  • 정의 1
    - 균일최강력 검정법은 그 기각역이 C={(x1,x2,,xn):T(x1,x2,,xn)k}C=\{ ({x}_{1},{x}_{2},\cdots,{x}_{n}):T({x}_{1},{x}_{2},\cdots,{x}_{n}) \ge k \} 이며 kkP[T(X1,X2,,Xn)kθ0]=αP[T({X}_{1},{X}_{2},\cdots,{X}_{n})\ge k|\theta _{0}]=\alpha 에 의해 정해진다
  • 조건 2
    - H0:θθ0H _{0}:\theta \ge \theta _{0}
    - H1:θ<θ0H _{1}:\theta <\theta _{0}
    - 유의수준은 α\alpha 라고 하자
  • 정의 2
    - 균일최강력 검정법은 그 기각역이 C={(x1,x2,,xn):T(x1,x2,,xn)k}C=\{ ({x}_{1},{x}_{2},\cdots,{x}_{n}): T({x}_{1},{x}_{2},\cdots,{x}_{n}) \le k\} 이며, 상수 kkP[T(X1,X2,,Xnkθ0)]=αP[T({X}_{1},{X}_{2},\cdots,{X}_{n} \le k |\theta _{0})]=\alpha 에 의해 결정된다
  • 증명
    1. θ1>θ0\theta _{1}>\theta _{0} 인 경우
    - H0:θ=θ0H _{0}:\theta =\theta _{0} , H1:θ=θ1H _{1}:\theta= \theta _{1} 인 경우의 가설검정을 고려하자
    - 이 경우 Neyman-Pearson 정리에 따라 최강력 검정 기각역은 유의수준 α\alpha 를 만족하는 기각역중 가능도비 LR=L(θ0;x)L(θ1;x))LR=\displaystyle\frac{L(\theta _{0};\boldsymbol{x})}{L(\theta _{1};\boldsymbol{x})}) 이 가장 낮은 기각역이다
    - 이를 수식으로 표현하면 LR=L(θ0;x)L(θ1;x)cLR=\displaystyle\frac{L(\theta _{0};\boldsymbol{x})}{L(\theta _{1} ;\boldsymbol{x})} \le c 이다.
    - θ1>θ0\theta _{1}>\theta _{0} 라면 LR=L(θ0)L(θ1)LR=\displaystyle\frac{L(\theta _{0})}{L(\theta _{1})}T(x)T(\boldsymbol{x}) 에 대한 비증가함수라는 가정이 있으므로, 기각역은 T(x1,x2,xn)kT(x _{1},x _{2},\cdots x _{n}) \ge k 에서 유의수준 α\alpha 를 충족시키는 기각역이다
    2. θ0>θ1\theta _{0} > \theta _{1} 인 경우
    - H0:θ=θ0H _{0}:\theta=\theta _{0} , H1:θ=θ1H _{1}:\theta=\theta _{1}인 경우를 고려하자
    - 가능도비 LR=L(θ0)L(θ1)cLR=\displaystyle\frac{L(\theta _{0})}{L(\theta _{1})} \le cL(θ1)L(θ0)1/c\displaystyle\frac{L(\theta _{1})}{L(\theta _{0})} \ge 1/c 로 바라볼 수 있다. 가능도비함수가 비증가함수란 가정이 있으므로 기각역은 T(x1,x2,,xn)kT(x _{1},x _{2},\cdots, x _{n}) \le k 에서 유의수준 α\alpha를 충족시키는 기각역이다
    -
    -

일반화 가능도비 검정법

generalized likelihood ratio test

  • 조건
    - 랜덤표본 X1,X2,,Xn{X}_{1},{X}_{2},\cdots,{X}_{n} 의 결합확률밀도함수가 f(x1,x2,,xn;θ)f({x}_{1},{x}_{2},\cdots,{x}_{n};\theta) 라고 주어졌다고 하자. 이제 H0:θΩ0H _{0}:\theta \in \Omega _{0}H1:θΩ1(ΩΩ0)H _{1}:\theta \in \Omega _{1}(\Omega - \Omega _{0}) 를 고려하자
  • 정의
    - 일반화 가능도비는 다음과 같이 정의된다
    - Λ(x1,x2,,xn)=maxθΩ0L(θ;x1,x2,,xn)maxθΩL(θ;x1,x2,,xn)=L(θ^0)L(θ^n)\Lambda({x}_{1},{x}_{2},\cdots,{x}_{n})=\displaystyle\frac{\max\limits_{\displaystyle{\theta \in \Omega _{0}}}{L(\theta;{x}_{1},{x}_{2},\cdots,{x}_{n})}}{\max\limits_{\displaystyle{\theta \in \Omega}}{L(\theta;{x}_{1},{x}_{2},\cdots,{x}_{n})}}=\displaystyle\frac{L(\hat{\theta}_{0})}{L(\hat{\theta}_{n})}
  • 의미
    - 네이슨-피어슨 정리에서는 귀무가설과 대립가설이 단순가설이였기 때문에 가능도비를 계산할 때 어떤 모수값을 분자,분모에 사용해야 하는지 명확하였다
    - 일반화 가능도비에선 여러 가능한 모수값 중에서 가장 관측값을 잘 설명하는, 즉 실제로 관측할 자료가 얻어질 확률을 가장 높게 만드는 모수값을 활용한다
    - Ω0Ω\Omega _{0} \subset \Omega 이기 때문에 일반화 가능도비 Λ\Lambda 는 항상 0보다 크고 1을 넘길수가 없다.
    - 만약 Λ\Lambda 가 1에 가깝다는 것은 관측을 가장 잘 설명하는 모수값들이 귀무가설에 포하된다는 의미므로, 귀무가설을 채택할 근거가 된다
    - 만약 Λ\Lambda 가 0에 가깝다는 것은 대립가설이 귀무가설보다 관측한 자료들을 훨씬 잘 설명할수 있으므로 귀무가설을 기각할 증거가 된다
  • 일반화 가능도비 검정법
    - 0<Λλ0 < \Lambda \le \lambda ^{*} 인 경우 H0H _{0} 를 기각한다
    - 단 λ\lambda ^{*}max[P(0<ΛλH0)]=αmax[P(0 <\Lambda \le \lambda ^{*}|H _{0})]=\alpha 를 만족시키는 상수이며 0<λ<10< \lambda ^{*} <1 이다
    - 귀무가설이 참이라는 가정 하에 기각역에 있을 확률 == 유의수준 α\alpha 정의
    - λ\lambda ^{*} 구하기
    - 귀무가설하의 확률변수 Λ\Lambda 의 확률분포함수 가 다음의 형태 f(λH0)f(\lambda|H _{0}) 를 띈다면 임계값 λ\lambda ^{*} 는 방정식 α=0λf(λH0)dλ\alpha=\displaystyle\int_{0}^{\lambda ^{*}}{f(\lambda|H _{0})d \lambda} 를 풀어 구할수 있지만, 일반적으로 Λ\Lambda 의 분포는 알려져 있지 않다

이표본 검정법

  • 두 정규분포의 비교
    - 조건
    - 서로 독립인 이표본 X1,X2,,XnX _{1},X _{2},\cdots, X _{n}Y1,Y2,,YmY _{1},Y _{2},\cdots,Y _{m} 이 정규분포 N(μX,σX2)\mathcal{N}(\mu _{X},\sigma ^{2}_{X})N(μY,σY2)\mathcal{N}(\mu _{Y},\sigma _{Y} ^{2}) 를 따른다고 하자
    1. 모분산을 알고 모평균을 모평균을 추정하고자 하는 경우
    - Z=(XnYm)(μXμY)(σX2/n+σY2/m)N(0,1)Z=\displaystyle\frac{(\overline{X}_{n}-\overline{Y}_{m})-(\mu _{X}-\mu _{Y})}{\sqrt{(\sigma _{X} ^{2}/n+\sigma _{Y} ^{2}/m)}}\sim \mathcal{N}(0,1) 을 활용하면 된다
    2. 모분산을 모르고 모평균을 추정하고자 하는 경우
    - Sp=(n1)SX2+(m1)SY2n+m2S _{p}=\displaystyle\frac{(n-1)S _{X} ^{2}+(m-1)S _{Y} ^{2}}{n+m-2} , T=(XnYm)(μXμY)Sp1/n+1/mt(n+m2)T=\displaystyle\frac{(\overline{X}_{n}-\overline{Y}_{m})-(\mu _{X}-\mu _{Y})}{S _{p}\sqrt{1/n+1/m}} \sim t(n+m-2) 를 따른다는 사실을 활용하면 된다
    		- 예

* 검정력 기존 정의 백업

2023.03.30

  • 검정력 power
    - 랜덤 표본이 기각역안에 있을 확률로 귀무가설을 기각할 확률을 의미한다
    - 귀무가설 모델에서
    - 단순가설이라면 귀무가설모셀에서 α\alpha값과 같다
    - 대립가설 모델에서
    - 단순가설이라면 1β1-\beta 와 같다
  • 단조가능도비 성질
    - 성질
    - 확률밀도함수 f(x;θ)=a(θ)b(x)exp[i=1kci(θ)ti(x)]f(x;\theta)=a(\theta)b(x)exp[\displaystyle\sum\limits_{i=1}^{k}{c _{i}(\theta)}t _{i}(x)]의 ci(θ)c _{i}(\theta)θ\theta 에 대하여 monotonic하다면 ici(θ)\displaystyle\sum\limits_{i}^{}{c _{i}(\theta)} 에 대하여 monotone likelihood ratio를 갖는다
    - 책에선 통계량에 대하여 정의하였지만, 김충락 교수님 수리통계 강의 를 참고하면 모수 θ\theta 에 대한 단조가능도비라는 표현도 쓰는 것 같음
  • 모분산모르고 모평균 추정
    - 증명
    - L(θ)L(θ)=a(θ)b(x)exp[ici(θ)ti(x)]a(θ)b(x)exp[ici(θ)ti(x)]\displaystyle\frac{L(\theta')}{L(\theta'')}=\displaystyle\frac{a(\theta')b(x)\cdot exp[\displaystyle\sum\limits_{i}^{}{c _{i}(\theta')\cdot t _{i}(x)}]}{a(\theta'')b(x)\cdot exp[\displaystyle\sum\limits_{i}^{}{c _{i}(\theta'')\cdot t _{i}(x)}]}
    - =exp[i(ci(θ)ci(θ))ti]a(θ)a(θ)=exp[\displaystyle\sum\limits_{i}^{}{(c _{i}(\theta)-c _{i}(\theta'')})\cdot t _{i}]\cdot \displaystyle\frac{a(\theta')}{a(\theta '')}
    - ici(θ)ci(θ)\displaystyle\sum\limits_{i}^{}{c _{i}(\theta')-c _{i}(\theta '')} 에 대하여 함수가 monotonic하다
  • 		- 조건
    				- 서로 독립인 이표본 $X _{1},X _{2},\cdots, X _{n}$ 과 $Y _{1},Y _{2},\cdots,Y _{m}$ 이 정규분포 $\mathcal{N}(\mu _{X},\sigma  ^{2}_{X})$과 $\mathcal{N}(\mu _{Y},\sigma  _{Y} ^{2})$ 를 따른다고 하자
    				- 가설 $H _{0}: \mu _{X}=\mu _{Y}$ , $H  _{1}:\mu _{X} \neq \mu _{Y}$ 를 세우고 유의수준 $\alpha$인 검증법을 시행하자
    			- 풀이
    				- 일반화가능도비 검정통계량을 찾아 풀이하도록 하자
    				- 우선 일반화가능도비 검정통계를 위하여 MLE를 구하고자 한다
    				- 전체 모수공간 $\Omega$내에서의 MLE는
    					- $f(\boldsymbol{x},\boldsymbol{y};\mu _{X},\mu _{Y},\sigma  ^{2})=(\displaystyle\frac{1}{2 \pi \sigma  ^{2}}) ^{n/2}\cdot (\displaystyle\frac{1}{2 \pi \sigma  ^{2}}) ^{m/2}\cdot exp[-\displaystyle\frac{1}{2}\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma}) ^{2}}-\displaystyle\frac{1}{2}\displaystyle\sum\limits_{j=1}^{m}{(\displaystyle\frac{y _{j}-\mu _{Y}}{\sigma}) ^{2}}]$
    					- $=(\displaystyle\frac{1}{2 \pi \sigma  ^{2}}) ^{(n+m)/2}exp[-\displaystyle\frac{1}{2}(\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma}) ^{2}+\displaystyle\sum\limits_{j=1}^{m}{(\displaystyle\frac{y _{j}-\mu _{Y}}{\sigma}) ^{2}}})]$
    					- $\cfrac{\partial {f}}{\partial {\mu _{X}}}=\alpha \cdot exp[\cdot ]\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma})}=0$
    					- $\displaystyle\sum\limits_{i=1}^{n}{x _{i}}=n \mu _{X}$ $\hat{\mu}_{X}=\displaystyle\frac{1}{n}\displaystyle\sum\limits_{i=1}^{n}{x _{i}}$ $\mu _{Y}=\displaystyle\frac{1}{m}\displaystyle\sum\limits_{j=1}^{m}{y _{j}}$ 임을 알 수 있다
    					- $F=\log_{}{(f)}=-(n+m)/2 \cdot \log_{}{(2 \cdot \pi \cdot \sigma  ^{2})}-\displaystyle\frac{1}{2}(\displaystyle\sum\limits_{i=1}^{n}{(\displaystyle\frac{x _{i}-\mu _{X}}{\sigma}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(\displaystyle\frac{y _{j}-\mu _{Y}}{\sigma }) ^{2}})$
    					- $\cfrac{\partial {F}}{\partial {\sigma}}=-\displaystyle\frac{n+m}{2}\cdot \displaystyle\frac{2 \sigma}{\sigma  ^{2}}+(\displaystyle\sum\limits_{i=1}^{n}{\displaystyle\frac{(x _{i}-\mu _{X}) ^{2}}{\sigma  ^{3}}}+\displaystyle\sum\limits_{j=1}^{m}{\displaystyle\frac{(y _{j}-\mu _{Y}) ^{2}}{\sigma  ^{3}}})$
    					- $(n+m)\sigma  ^{2}=(\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\mu _{X}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{i}-\mu _{Y}) ^{2}})$
    					- $\hat{\sigma} ^{2}=\displaystyle\frac{(\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\mu _{X}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{i}-\mu _{Y}) ^{2}})}{n+m}$
    				- 귀무가설이 참이라는 가정하($\Omega _{0}$) 모평균과 분산의 값은
    					- $\hat{\mu}_{0}=\displaystyle\frac{1}{n+m}(\displaystyle\sum\limits_{i=1}^{n}{x _{i}} +\displaystyle\sum\limits_{j=1}^{m}{y _{j}})=\displaystyle\frac{n \overline{x}+m \overline{y}}{n+m}$
    					- $\hat{\sigma  ^{2}} _{0}=\displaystyle\frac{1}{n+m}[\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\hat{\mu}_{0}) ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\hat{\mu}_{0}) ^{2}}]$ 이다
    					- 그런데 $\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\hat{\mu} _{0} ^{2})}=\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}+\displaystyle\frac{m  ^{2}n}{(n+m) ^{2}}(\overline{x}_{n}-\overline{y}_{m})}$ 이고, 같은 방식으로 $\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\hat{\mu}_{0}) ^{2}}=\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y}) ^{2}+\displaystyle\frac{nm  ^{2}}{(n+m) ^{2}}(\overline{x}_{n}-\overline{y}_{m}) ^{2}}$
    					- 따라서 귀무가설하에 공통분산의 최대가능도추정량은 다음과 같다
    					- $\hat{\sigma} ^{2}_{0}=\displaystyle\frac{1}{n+m}[\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y}_{m}) ^{2}+\displaystyle\frac{nm}{n+m}(\overline{x}_{n}-\overline{y}_{m}) ^{2}}}]$
    				- 따라서 일반화가능도비 $\Lambda$ 는
    					- $\Lambda=\displaystyle\frac{L(\text{귀무가설})}{L(\text{대립가설})}=[1+\displaystyle\frac{(nm/(n+m))(\overline{x}_{n}-\overline{y}_{m})}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x})  ^{2}}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y}_m) ^{2}}}] ^{-(n+m)/2}$ 이다
    					- 일반화 가능도비 $\Lambda$ 는 $T=\displaystyle\frac{\sqrt{\displaystyle\frac{nm}{n+m}(\overline{x}_{n}-\overline{y}_{m})}}{\sqrt{\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}+\displaystyle\sum\limits_{j=1}^{m}{(y _{j}-\overline{y} _{m}) ^{2}}}}{n+m-2}}}$ 에 의한 함수로 표현되어 $\Lambda=[\displaystyle\frac{1}{1+T  ^{2}/(n+m-2)}] ^{(n+m)/2}$ 로 표현될 수 있다
    					- 위에 식으로부터 $\Lambda$는 $T  ^{2}$ 의 단조감수함수가 됨을 알 수 있다.
profile
안녕하세요!

0개의 댓글