Likelihood (우도) 설명

Bean·2025년 4월 7일
0

수학

목록 보기
2/13

우도(Likelihood)란?

1. 핵심 개념:

우도 = 어떤 모델(혹은 파라미터)이 주어진 데이터를 얼마나 그럴듯하게 설명하는가?


2. 비교: 확률 vs 우도

개념설명수학 표현고정된 것변하는 것
확률모델이 주어졌을 때, 특정 데이터가 나올 확률p(xθ)p(x \mid \theta)파라미터 θ\theta데이터 xx
우도특정 데이터가 주어졌을 때, 어떤 모델(파라미터)이 그 데이터를 잘 설명하는지L(θx)=p(xθ)\mathcal{L}(\theta \mid x) = p(x \mid \theta)데이터 xx파라미터 θ\theta

수식은 똑같이 p(xθ)p(x \mid \theta)처럼 생겼지만, 해석이 다릅니다!


3. 예시로 이해해보기

3.1. 예: 동전을 10번 던졌는데, 7번 앞면이 나왔다고 하자.

  • 데이터 x=7x = 7 (앞면 나온 횟수)
  • 우리는 동전이 공정한지 아닌지 알고 싶어요.

3.2. 여러 동전 모델을 가정해보자:

  • θ=0.5\theta = 0.5: 공정한 동전
  • θ=0.7\theta = 0.7: 앞면이 더 잘 나오는 동전
  • θ=0.2\theta = 0.2: 뒷면이 더 잘 나오는 동전

3.3. 각 모델이 위 데이터를 얼마나 잘 설명하나요?

우도를 계산해보면:

L(θ=0.5x=7)=P(7번 앞면θ=0.5)\mathcal{L}(\theta = 0.5 \mid x = 7) = P(7 \text{번 앞면} \mid \theta = 0.5)
L(θ=0.7x=7)=P(7번 앞면θ=0.7)\mathcal{L}(\theta = 0.7 \mid x = 7) = P(7 \text{번 앞면} \mid \theta = 0.7)
L(θ=0.2x=7)=P(7번 앞면θ=0.2)\mathcal{L}(\theta = 0.2 \mid x = 7) = P(7 \text{번 앞면} \mid \theta = 0.2)

→ 계산해보면

  • θ=0.7\theta = 0.7이 가장 높은 값을 가짐
    → 즉, 이 모델이 가장 그럴듯하다(우도가 크다)는 의미!

4. 실전에서는?

  • 우리가 가지고 있는 데이터 xx에 대해,
  • 우도 L(θx)\mathcal{L}(\theta \mid x)최대화하는 파라미터 θ\theta를 찾는 것
  • 이걸 최대우도추정(MLE)이라고 합니다!

5. VAE에서의 우도?

VAE 손실함수에서 중요한 부분이 이거예요:

Eq(zx)[logp(xz)]\mathbb{E}_{q(z \mid x)}[\log p(x \mid z)]

  • 여기서 p(xz)p(x \mid z)가 바로 우도입니다.
  • 즉, "잠재 벡터 z로부터 관측된 x를 얼마나 잘 복원하는가"
  • 이걸 평균적으로 최대화하는 게 목적이에요!

6. 요약

질문설명
우도란?“모델이 데이터를 얼마나 잘 설명하는가”를 수치화한 것
수식으로는?L(θx)=p(xθ)\mathcal{L}(\theta \mid x) = p(x \mid \theta)
확률과 차이점?확률은 모델 고정, 우도는 데이터 고정
VAE에서?p(xz)p(x \mid z)가 x의 우도 → reconstruction loss에 해당
profile
AI developer

0개의 댓글