엔트로피 (Entropy)

• 사전적 정의 : 열역학적계의 유용하지 않은(일로 변환할 수 없는 ) 에너지의 흐름을 설명할 때 이용 되는 상태함수

• 통계적 의미 : 어떤 사건이 정보적 측면에서 얼마나중요한가를 반영한 로그 지표에 대한 기댓값을 구한 것

교차엔트로피 (Cross Entropy)

• 실제 분포와 예측 분포가 다르다는 특징을 이용해, 실제 분포를 가정 후 예측한 분포에 따른 정보의 획득의 유용성을 나타낸 것
  

쿨백 라이블러 발산(KL Divergence)

• 두 확률분포의 차이를 계산하는 데 사용하는 함수
• 어떤 이상적인 분포에 대해 그 분포를 근사하는 다른 분포를 사용해 샘플링 할 시 바생할수 있는 정보 엔트로피 차이를 계산
• 즉 두개의 확률분포 P(X), Q(X) 가 있을 경우 두 확률분포사이의 거리를 계산
  

Reference

https://www.youtube.com/watch?v=3DA9Pg5WUUc
https://www.youtube.com/watch?v=7GBXCD-B6fo