AI Theory
1.엔트로피와 크로스엔트로피 KL-Divergence
엔트로피는 불확실성의 정도이다. 즉, 확률과 연관된 개념으로써엔트로피가 높다는 것은 미래의 사건이 뭐가 나올지 불확실한정도가 크다는 것이고 낮다는 것은 미래의 사건이 뭐가 나올지 비교적 확실하다는 것이다.엔트로피는 확률분포와 연관해서 기억하면 좋을 것이다.위의 두 확률
2023년 8월 31일
엔트로피는 불확실성의 정도이다. 즉, 확률과 연관된 개념으로써엔트로피가 높다는 것은 미래의 사건이 뭐가 나올지 불확실한정도가 크다는 것이고 낮다는 것은 미래의 사건이 뭐가 나올지 비교적 확실하다는 것이다.엔트로피는 확률분포와 연관해서 기억하면 좋을 것이다.위의 두 확률