Maximum Likelihood Estimation

Anomaly Detection 관련 논문이나 Generative Model 관련 논문을 읽다보면 많이 접하는 개념인 "Maximum Likelihood Estimation"에 대해 알아보도록 하겠습니다.

Maximum Likelihood(MLE)는 최대 우도 추정이라고 불리며, 주어진 데이터가 관측될 확률을 최대화하는 확률 분포의 파라미터(=모수)를 찾는 방법을 말합니다.
MLE의 목적은 어떤 확률 모델이 데이터를 생성했다고 가정할 때, 해당 모델의 파라미터를 조정하여 데이터가 실제로 관측될 가능성을 최대로 만드는 값을 찾는 것입니다.
주어진 데이터 $\mathbf{X} = \{x_1, x_2, \dots, x_n\}$를 특정한 확률 분포 $p(x | \theta)$를 따른다고 가정하면, MLE는 우도함수 $L(\theta | \mathbf{X}) = \prod_{i=1}^{n} p(x_i | \theta)$를 최대화하는 $\theta$를 찾는 것입니다.

식은 이렇지만 실제로 계산할 때는 로그를 취합니다.
로그를 취하면 곱셈이 덧셈으로 변환되어 계산이 간편해집니다.

이 log likelihood function $\ell(\theta)$에 $\theta$에 대해 미분을 한 후, 그 값이 0이 되도록 하는 $\theta$를 찾는 과정을 통해 likelihood function $L(\theta | \mathbf{X})$를 최대화 시켜주는 최적의 $\theta$를 찾으면 됩니다.