기존에 우리가 고려했던 선형모형과 달리, 다음의 모형을 고려해보자.
Y∼N(Xβ,σ2V)
V는 우리가 알고있다고 가정하고, σ2만 모를때, 어떻게 추정할까?
우선, Least Squares Estimator을 찾아보고 싶다. 이렇게 모형에 변주가 들어올때, 항상 LSE를 적용하는 방법은 바로 적용하는게 아니라 적용할 수 있는 Form을 만들고 적용하는 거다.
우선, 고유값 분해를 통해 V=ΓΓT라 하자.
양변에 Γ−1를 곱하면 Γ−1Y=Γ−1Xβ+Γ−1ϵ. 이때, Γ−1Y=Z,Γ−1X=W라고 하자.
Cov(W)=Γ−1Cov(Y)(Γ−1)T=σ2I
그러므로 변형된 모형 Z=Wβ+Γ−1ϵ에 대해서 LSE를 적용할 수 있다. 그러면 우리의 회귀 식은 아래와 같이 주어진다.
β^G=(WTW)−1WTZ=(XT(Γ−1)TΓ−1X)−1XT(Γ−1)Γ−1Y=(XT(ΓΓT)−1X)−1XT(ΓΓT)−1Y=(XTV−1X)−1XTV−1Y
이렇게 구해진 해는 Gauss-Markov 정리 역시 만족한다. 공분산 행렬은 아래와 같이 주어진다.
Cov(β^G)=σ2(XTV−1X)−1XTV−1VV−1X(XTV−1X)−1=σ2(XTV−1X)−1 