Maximum Likelihood Estimation

최대가능도 추정법 또는 최대우도법이라고 불림.

PDF에서는 모수 $\theta$가 이미 알고 있는 상수이고 $x$가 변수임.

ex) $x$가 $n$개의 변수로 이루어진 벡터, $\theta$가 $m$개의 변수로 이루어진 벡터
$x = (x_1,x_2,\cdots,x_n)$
$\theta = (\theta_1,\theta_2,\cdots,\theta_m)$

그래서 $x$를 찾지만 모수를 추정하는 문제는 반대로 $x$를 알고 $\theta$는 모르기 때문에 모수를 찾는 것. 그래서 $x$가 상수, $\theta$가 변수가 됨.

일반적으로 우리는 모수 추정을 위해 가지고 있는 확률변수 표본이 여러개이므로 결합확률밀도인
$p(x;\theta)=p(x_1,x_2,\cdots,x_n;\theta)$가 됨.
위에 나온 $x_1,x_2,\cdots,x_n$이 값들은 같은 확률분포에서 나온 독립적인 값들이기에 독립사건의 확률로 곱으로 표현됨!

$P(x|\theta) = \Pi_{k=1}^nP(x_k|\theta)$

위 식에서 결과 값이 가장 커지는 $\theta$를 모수의 추정값 $\hat{\theta}$로 봄.

이 식을 likelihood function이라 부름.

추정 값이 가장 큰 값을 갖는 방법이 MLE.

$\hat\theta_{\text{MLE}} = \arg \max_{\theta} L(\theta | x)$

그러나 이대로 쓰진 않고 log함수를 사용해 곱셈을 덧셈으로 변환하여 계산하기 쉽게 함.

$\frac{\partial}{\partial \theta}L(\theta|x) = \frac{\partial}{\partial \theta}\log P(x|\theta) = \sum_{i=1}^{n}\frac{\partial}{\partial\theta}\log P(x_i|\theta) = 0$

최대값을 찾는 방법 중에 가장 보편적인 방법이 미분계수가 0이 되는 지점을 찾는 것이니까 $\theta$에 편미분해서 값을 찾는다.