True Distribution/Approximate Distribution

참 분포 (True Distribution)

• 실제 데이터가 따르는 진짜 분포
• 보통 우리가 알고 싶어하지만 직접 관찰하기 어려운 분포
• 이론적으로 존재하지만 완전히 파악하기 힘든 경우가 많음

근사 분포 (Approximate Distribution)

• 참 분포를 흉내내려고 만든 분포
• 모델이 학습해서 만든 분포
• 계산상 편의를 위해 단순화한 분포

예시

머신러닝 예시

• 참 분포 P: 실제 데이터의 분포 (고양이/강아지 사진들의 실제 분포)
• 근사 분포 Q: 신경망 모델이 예측한 분포 (모델의 출력 확률)

동전 던지기 예시

• 참 분포 P: 진짜 동전 → [앞면: 0.5, 뒷면: 0.5]
• 근사 분포 Q: 모델 예측 → [앞면: 0.6, 뒷면: 0.4]

날씨 예측

• 참 분포 P: 내일 실제 날씨가 맑을/흐릴 확률
• 근사 분포 Q: 기상청 예보 모델이 예측한 확률

KL Divergence 적용

• $D_KL(P||Q)$를 계산할 때:

  • $P$(참 분포)에서 확률이 높은 영역에 집중해서 측정
  • "모델 $Q$가 실제 $P$를 얼마나 잘 근사하는가?"를 평가

• $D_KL(Q||P)$를 계산할 때:
  $Q$(모델)에서 확률이 높은 영역에 집중해서 측정
  "실제 $P$가 모델 $Q$와 얼마나 다른가?"를 평가

실제로는 참 분포 P를 정확히 알 수 없는 경우가 많아,
데이터 샘플을 통해 추정하거나 다른 방법으로 근사해서 사용