# KL-Divergence

leesungjoon-net

엔트로피는 불확실성의 정도이다. 즉, 확률과 연관된 개념으로써엔트로피가 높다는 것은 미래의 사건이 뭐가 나올지 불확실한정도가 크다는 것이고 낮다는 것은 미래의 사건이 뭐가 나올지 비교적 확실하다는 것이다.엔트로피는 확률분포와 연관해서 기억하면 좋을 것이다.위의 두 확률

nochesita

KL Divergence 및 크로스 엔트로피와의 관계 설명

amzyoungchae

정보를 표현하는 데 필요한 최소 평균 자원량 흔하게 일어나는 일일수록 정보량이 적고, 적게 일어나는 일일수록 정보량이 많다는 아이디어로 출발하여 아래 그림과 같이 정보량 표현

veglog

Fisher information은 MLE를 통해 추정한 파라미터의 신뢰구간을 구할 때 등장합니다. 머신러닝과 관련해서는 KL-divergence를 Fisher Information Matrix(FIM)으로 근사할 수 있습니다.

peterkim

t-SNE란?

sjinu

Some notes on relation between KL-Divergence and MSE for Knowledge Distillation

brighteast

Entropy 에 대해 이야기 해보자!

2712qwer

[Boostcamp AI Tech] 통계학 맛보기

sjinu

Metric for WGAN

jkl133

entropy, cross-entropy를 공부하다가 KL-Divergence에 대해 좋은 글이 있어서 번역해보았다.출처: https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-expla