# KL-Divergence
총 7개의 포스트
Fisher Information
Fisher information은 MLE를 통해 추정한 파라미터의 신뢰구간을 구할 때 등장합니다. 머신러닝과 관련해서는 KL-divergence를 Fisher Information Matrix(FIM)으로 근사할 수 있습니다.
2022년 7월 26일
·
0개의 댓글·
0[간단정리]Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation(IJCAI 2021)
Some notes on relation between KL-Divergence and MSE for Knowledge Distillation
2022년 5월 10일
·
0개의 댓글·
0
KL-Divergence Explained
entropy, cross-entropy를 공부하다가 KL-Divergence에 대해 좋은 글이 있어서 번역해보았다.출처: https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-expla
2021년 3월 31일
·
0개의 댓글·
0