우도(Likelihood)란?
1. 핵심 개념:
우도 = 어떤 모델(혹은 파라미터)이 주어진 데이터를 얼마나 그럴듯하게 설명하는가?
2. 비교: 확률 vs 우도
개념 | 설명 | 수학 표현 | 고정된 것 | 변하는 것 |
---|
확률 | 모델이 주어졌을 때, 특정 데이터가 나올 확률 | p(x∣θ) | 파라미터 θ | 데이터 x |
우도 | 특정 데이터가 주어졌을 때, 어떤 모델(파라미터)이 그 데이터를 잘 설명하는지 | L(θ∣x)=p(x∣θ) | 데이터 x | 파라미터 θ |
수식은 똑같이 p(x∣θ)처럼 생겼지만, 해석이 다릅니다!
3. 예시로 이해해보기
3.1. 예: 동전을 10번 던졌는데, 7번 앞면이 나왔다고 하자.
- 데이터 x=7 (앞면 나온 횟수)
- 우리는 동전이 공정한지 아닌지 알고 싶어요.
3.2. 여러 동전 모델을 가정해보자:
- θ=0.5: 공정한 동전
- θ=0.7: 앞면이 더 잘 나오는 동전
- θ=0.2: 뒷면이 더 잘 나오는 동전
3.3. 각 모델이 위 데이터를 얼마나 잘 설명하나요?
우도를 계산해보면:
L(θ=0.5∣x=7)=P(7번 앞면∣θ=0.5)
L(θ=0.7∣x=7)=P(7번 앞면∣θ=0.7)
L(θ=0.2∣x=7)=P(7번 앞면∣θ=0.2)
→ 계산해보면
- θ=0.7이 가장 높은 값을 가짐
→ 즉, 이 모델이 가장 그럴듯하다(우도가 크다)는 의미!
4. 실전에서는?
- 우리가 가지고 있는 데이터 x에 대해,
- 우도 L(θ∣x)를 최대화하는 파라미터 θ를 찾는 것
- 이걸 최대우도추정(MLE)이라고 합니다!
5. VAE에서의 우도?
VAE 손실함수에서 중요한 부분이 이거예요:
Eq(z∣x)[logp(x∣z)]
- 여기서 p(x∣z)가 바로 우도입니다.
- 즉, "잠재 벡터 z로부터 관측된 x를 얼마나 잘 복원하는가"
- 이걸 평균적으로 최대화하는 게 목적이에요!
6. 요약
질문 | 설명 |
---|
우도란? | “모델이 데이터를 얼마나 잘 설명하는가”를 수치화한 것 |
수식으로는? | L(θ∣x)=p(x∣θ) |
확률과 차이점? | 확률은 모델 고정, 우도는 데이터 고정 |
VAE에서? | p(x∣z)가 x의 우도 → reconstruction loss에 해당 |