# KL-Divergence

총 7개의 포스트
post-thumbnail

Fisher Information

Fisher information은 MLE를 통해 추정한 파라미터의 신뢰구간을 구할 때 등장합니다. 머신러닝과 관련해서는 KL-divergence를 Fisher Information Matrix(FIM)으로 근사할 수 있습니다.

FIMFisher InformationKL-Divergencescore function
2022년 7월 26일
·
0개의 댓글
·
post-thumbnail

t-SNE

t-SNE란?

KL-Divergencedimensionality reductionmachine learningnormal distributiont-SNE
2022년 6월 1일
·
0개의 댓글
·

[간단정리]Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation(IJCAI 2021)

Some notes on relation between KL-Divergence and MSE for Knowledge Distillation

KL-DivergenceKnowledge distillationMSERegularizationpaper-review
2022년 5월 10일
·
0개의 댓글
·
post-thumbnail

Entropy 이야기

Entropy 에 대해 이야기 해보자!

Cross EntropyKL-Divergenceentropyinformation
2022년 2월 9일
·
0개의 댓글
·
post-thumbnail

[Boostcamp AI Tech] AI Math 7강

[Boostcamp AI Tech] 통계학 맛보기

Boostcamp AI techKL-DivergenceMLEai math
2022년 1월 22일
·
0개의 댓글
·

[정리] Metric for WGAN

Metric for WGAN

EM-DistanceJS-DivergenceKL-DivergenceTV-Distanceganmetricwgan
2021년 10월 31일
·
0개의 댓글
·
post-thumbnail

KL-Divergence Explained

entropy, cross-entropy를 공부하다가 KL-Divergence에 대해 좋은 글이 있어서 번역해보았다.출처: https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-expla

KL-Divergenceinformation-theory
2021년 3월 31일
·
0개의 댓글
·