MLE,최대우도(가능도)추정

베이즈정리에서 사후확률을 구할 때, 가능도를 이용해서 구하는 것을 알 수 있다. 여기서 나오는 가능도를 최대화 한다는것은 우리가 원하는 데이터가 '어떤 확률 분포'에서 가장 잘 나올법한지 찾는것 의미한다.즉, 어떤 parameter가 그 데이터를 가장 잘 설명하는 데이터 분포인지를 찾는 과정이다.

베이즈 정리
$P(B∣A)=\frac{P(A)P(A∣B)}{P(B)}$

$P(B∣A)$ : 사후확률(posterior)
$P(A),P(B)$ : 사전확률(prior)
$P(A∣B)$ : 우도,가능도(Likelihood)

자세한 베이즈 정리 설명은 아래 유튜브를 참고하면 좋다.

https://youtu.be/HZGCoVF3YvM

이러한 최대우도추정은 여러 분야에서 사용되는데 AI 분야에서 어떻게 사용되는지 살펴보자

1. Machine Learning

• Logistic regression 은 시그모이드 함수를 이용해서 확률을 나타내며 모든 데이터에 대해 특정 클라스에 속할 확률을 곱한값으로 우도함수(Likelihood function)를 정의한다. $L(θ∣D)=∏P(y ∣x ,θ)$
  이를 log값을 취한뒤 최대가 되는 parameter를 찾는다.

2. Deep Learning

• 딥러닝에서도 분류 문제를 풀 때, softmax 를 사용하여 확률을 나타낸다. 이때도 마찬가지로 우도함수를 통해서 모델의 parameter를 최적화 한다. Backproagation과 Gradient Descent의 목적이기도 하다. 즉, 목적함수 혹은 손실함수라고 하는 함수가 MLE 기반의 함수라고 할 수 있다.
  Crossentropy 손실 함수, MSE 손실 함수 모두 MLE에서 우도된 함수들이다.

3. Generation

• 생성 모델이 새로운 데이터를 생성하는 것은 Input의 데이터분포와 가장 유사하도록 MLE를 이용하여 parameter를 찾고 그 분포에서 데이터를 샘플링 하는것이다.
• VAE는 새로운 데이터를 잘 생성하기 위해 잠재공간(latent space)를 추정하는 모델이다. ELBO(Evidence Lower Bound)를 최대화하는데 이 과정에서 Variational Inference를 사용하여 우도를 최대화한다.