6강 Method of Moments

Fisher Information

Log Likelihood : $l(\theta)= logf(x;\theta)$

Fisher Information : $I(\theta) = E_\theta(l'(\theta))^2 = -E_\theta l''(\theta)$

말로 풀이하자면,log likelihood에서 미분을 2번 더 한것에 대한 기대값이다.

이 두 분포에서 '변동' 이라는 관점에서는 당연히 빨간색 분포가 더 좋은 확률의 곡선이라고 판단할 수 있다.

기울기 측면에서 보았을때, 분포의 봉우리가 MLE 인것과 분산 또한 알 수 있다.

Fisher Information 은 곡선의 곡률을 이용하는 방법인데, 곡선의 곡률은 2차 미분과 관련이 있다.
곡률 : $\frac{1}{r} = k$, 그러므로 빨간 선이 곡률이 더 작으나, Fisher Information 은 음수값을 붙히므로, 더 크다고 말할 수 있다.

The Method of Moments

MLE 의 대안으로 사용되어진다. # of monent conditions 가 # of parameter 보다 많을때 parameter 를 찾을 수 있는 방법이다.

이것을 조금 더 쉽게 표현하자면, 우리가 Population 에 대해 방정식으로 나타낼 수 있는 기대값이 3개라고 해보자. 그리고 우리가 궁금한 parameter 는 2개이다.
이렇게 되면 사실 완전히 닫혀있는 방식의 parameter를 구하는것은 불가능이다.
예)
3x + 2y = 1
4x + y = 3
6x + 3y = 2 => equation = 3, variable = 2

하지만, GMM estimation을 통해 가장 Population 에 근접하는 parameter 를 찾을 수 있다.
(증명은 생략)