가능도 함수

관찰된 데이터를 통해, 그 데이터의 분포를 설명하는 모수들을 추정할 수 있는 함수를 의미한다. 가능도 함수 $L(\theta;X)$은 pdf $P(X;\theta)$와 동일한 형태를 가진다.

$L(\theta;X) = P(X;\theta), X = (x_1, x_2, ... , x_n)$ 형태의 함수이다.
각 데이터 별 가능도가 나와서,

꼴이 된다.

MLE

최대가능도추정법을 의미한다.
$L(\theta;X)$를 최대화 하는 모수 $\theta$를 찾는 과정이다.
이 방법을 통해 데이터 $X$를 가장 잘 설명하는 분포의 모수 $\theta$를 찾을 수 있게 된다.
이때의 추정량을 MLE로 부르기로 한다.

log-likelihood func.

likelihood func.는 함수의 곱 형태로 표현되는 경우가 많아서 이를 합의 형태로 변환해주는 로그변환을 진행해준다.

로그변환은,
1. 변환해도 concavity가 깨지지 않는다.
2. 곱의 형태를 합의 형태로 바꿔준다.
그래서 사용가능하다.

이후 log-L func.을 미분하여 최대값을 구하는 등의 방법을 이용한다.