Restricted Regression
다음의 가설검정 문제를 생각해보자.
H0:Cβ=0versusH1:Cβ=0
선형모형에서, 이런 가설검정 문제에서 LR Test를 수행하려면 좀 난감하다. 귀무가설 하에서 MLE를 어떻게 찾아야할까? 귀무 가설 하에서 LRT는 다음과 같은 문제로 귀결된다.
minimize ∥Y−Xβ∥ subject to Cβ=0
라그랑주 승수를 세워보자.
L(β,λ)=21∥Y−Xβ∥2+λ⊤Cβ
그럼 이제 미분해보자. 우선 베타에 대해 미분해주고,
∇βL=−X⊤(Y−Xβ)+C⊤λ=0⇒X⊤Xβ=X⊤Y−C⊤λ⇒β^c=(X⊤X)−1X⊤Y−(X⊤X)−1C⊤λ
그리고 다시 람다로 미분을 해보도록하자.
∇λL=Cβ⇒Cβ^c=0
그럼 두개의 정보를 뭉치자. 위에 베타쪽 식 양변에 C 곱해주면
Cβ^c=C(X⊤X)−1X⊤Y−C(X⊤X)−1C⊤λ⇒0=C(X⊤X)−1X⊤Y−C(X⊤X)−1C⊤λ⇒λ=[C(X⊤X)−1C⊤]−1C(X⊤X)−1X⊤Y
자, 그럼 처음 식에 다시 대입을 해주면, 끝임!
β^c=(X⊤X)−1X⊤Y−(X⊤X)−1C⊤[C(X⊤X)−1C⊤]−1C(X⊤X)−1X⊤Y
앞부분 첫 Term은 OLS에서 회귀계수인게 보인다.
자연스러운 확장으로 H0:Cβ=t에 대해서도 어렵지 않게 보일 수 있다.
Hypothesis Testing
Cβ^∼N(Cβ,σ2C(X⊤X)−1C⊤)
위 사실로 부터 여러 사실을 알수 있는데, 일단 SSH를 정의하자. (SSR 감성)
SSH=(Cβ^)⊤[C(X⊤X)−1C⊤]−1(Cβ^)/σ2
근데 이거 걍 이차형식이니까 카이제곱 따르는 거는 자명한데, 그 F검정을 조지려면 SSE랑 독립성을 밝혀야한다.
그래서 SSH를 좀 다른 Form으로 쓰면 (Y에 대한 이차형식으로 써주자!)
SSH=Y⊤X(X⊤X)−1[C(X⊤X)−1C⊤]−1(X⊤X)−1X⊤Y/σ2.
SSE의 I−H랑 곱했을때 O 행렬 나오면 두 이차형식이 독립이니까 SSH /SSE 해서 검정 가능함.
(I−H)X(X⊤X)−1[C(X⊤X)−1C⊤]−1(X⊤X)−1X⊤=SSH−H⋅SSE=SSH−X(X⊤X)−1X⊤X(X⊤X)−1[C(X⊤X)−1C⊤]−1(X⊤X)−1X⊤=SSH−(X⊤X)−1[C(X⊤X)−1C⊤]−1(X⊤X)−1X⊤=SSH−SSH=O
식이 혐짤이다;
그래서 여하튼 위 사실에 의해서 F 통계량도 알수 있다. 앞에서 언급하지 않았지만 C∈R(p+1)×q 라고 정의하면,
F=SSE/(n−p−1)SSH/q∼Fq,n−p−1.
Y∼N(μ,Σ)라고 할때, Y⊤AY의 MGF는 아래와 같다.
MA(t)=∣I−2tAΣ∣−1/2exp{21μ⊤(I−(I−2tAΣ)−1)Σ−1μ}
근데 이거 알아두면 은근 유용한게, Rencher에서 뒤에거 증명하기 편함. Ξ=∣I−2tAΣ∣라고 두고, logMA(t) 미분하면 중심적률 나오니까, 그거 이용해서 Variance 유도할 수 있다. 고도의 암기?는 도움이 된다!!
