MLE vs Gradient Descent 그리고 log likelihood

MLE(Maximum Likelihood Estimation, 최대 우도 추정법)과 Gradient Descent는 모두 파라미터 추정법임

1. MLE

• 목표 : 주어진 데이터를 가장 잘 설명하는 파라미터(웨이트, 편차)를 찾는 것
  • 주어진 데이터가 관찰될 확률(우도)을 최대화하는 파라미터는 무엇인가?
• 그러면 로그 우도(log likelihood)는 뭐지?
  • MLE는 파라미터 추정 방법, log likelihood는 그 방법을 적용하는 데 사용되는 식을 지칭함
  • log likelihood는 likelihood를 쉽게 계산하게 하고, 곱셈 연산을 덧셈 연산으로 바꿔 계산의 복잡성을 줄이는 역할을 함

2. Gradient Descent

• 최적화 알고리즘의 일종
• 목표 : loss function의 최소화하는 파라미터 찾는 것

3. 질문

• log loss vs log likelihood
  • log loss는 cross entropy와 같은 것으로, loss function이나 metric으로 사용됨
    • 모델 학습 과정에 사용하거나 모델 성능 평가에 사용한다는 것임
  • log likelihood는 모델 파라미터 최적화 알고리즘(loss function을 최소화하는 것)의 한 종류인 MLE에 사용되는 것
    • log likelihood를 사용한 모델 파라미터 최적화를 수행하고 이를 log loss를 통해 모델 성능을 평가함