Entropy?

• 정보를 표현하는데 필요한 최소한의 평균 자원량
• 머신러닝에서는 분류가 얼마나 잘됐는지의 척도
• 정보 이론과 머신러닝에서 사용하는 단일 엔트로피 항 $-p \log_2 p$의 그래프
  • A(1/3),B(1/3),C(1/3) 이면 Entropy가 높음, 분류가잘 안됨
  • A(90/100),B(5/100),C(5/100) 이면 Entropy가 낮음, 분류가 잘됨
    

Cross-Entropy

• 실제 확률 분포($P$)와 내가 예측한 확률 분포($Q$)가 다를 때 Entropy에 오차가 더해진 값

KL-divergence

• 실제 확률 분포(Entropy)와 예측한 분포 사이(Cross-Entropy)의 '오차'를 나타내는 지표
• Entropy - Cross-Entropy 로 계산
  $D_{KL}(P || Q) = \sum_{i} P(x_i) \log \frac{P(x_i)}{Q(x_i)}$