# entropy

13개의 포스트
post-thumbnail

Cross entropy

(사진 출처 : https://medium.com/data-science-bootcamp/understand-cross-entropy-loss-in-minutes-9fb263caee9a)

6일 전
·
0개의 댓글
·
post-thumbnail

의사 결정 트리 (DECISION TREE)

의사 결정 트리란 무언가를 결정할 수 있는 기준들을 학습하는 모델이다.

2022년 6월 27일
·
0개의 댓글
·
post-thumbnail

엔트로피(Entropy)?

분류과정의 손실함수를 설명하기 위해선 엔트로피에 대한 설명이 먼저 필요합니다(쉽게 넘어가고 싶지만 어쩔 수 없네요...편하게 읽어주세요).사진출처: 나무위키엔트로피는 본래 물리학의 열역학에서 이용되는 함수 이름입니다. "무질서도"라는 말로 번역되기도 하는데, 어떤 공간

2022년 6월 1일
·
0개의 댓글
·

Entropy & KL-Divergence

확률 변수는 어떠한 형태의 확률 분포(정규 분포, 균일 분포, 이항 분포, 베르누이 분포 등)를 따르고, 해당 확률 변수로부터 어떤 사건(event)을 관측할 수 있다. 확률 변수는 불확실성을 가진다. 또한 확률 변수로부터 실현된 어떤 사건(event)은 불확실성에

2022년 4월 12일
·
0개의 댓글
·
post-thumbnail

Entropy 이야기

Entropy 에 대해 이야기 해보자!

2022년 2월 9일
·
0개의 댓글
·

Entropy

열역학에서 많이 쓰이지만 Claude Shannon이 정보이론을 적립하면서 정보량을 계량하는데 쓰인다. 결론부터 말하면 entropy는 자주 등장하지 않는 정보일수록, 그러니까 일어날 확률이 낮은 사건일수록 정보량은 커진다.

2021년 12월 26일
·
0개의 댓글
·
post-thumbnail

[MachineLearning](python/scikit-learn) Decission Tree 결정트리

결정트리란 뿌리노드(가지가 시작되는 처음 = Root Node)부터 시작해서, Yes or No로 가지를 마침내 리프노드(가지의 마지막 = Leaf Node)까지 뻗어나가는 의사 결정 과정을 뜻한다. 스무고개처럼 계속해서 질문을 하며 정답을 도출해나가는 과정이

2021년 10월 26일
·
0개의 댓글
·

엔트로피

1 엔트로피 $Y=0$ 또는 $Y=1$ 인 두 가지 값을 가지는 확률변수의 확률분포가 다음과 같이 세 종류가 있다고 하자. 확률분포 $Y_1$ : $P(Y=0)=0.5$, $P(Y=1)=0.5$ 확률분포 $Y_2$ : $P(Y=0)=0.8$, $P(Y=1)=0.2$ 확률분포 $Y_3$ : $P(Y=0)=1.0$, $P(Y=1)=0.0$ 베이지안 관점에서...

2021년 9월 27일
·
0개의 댓글
·
post-thumbnail

[지도학습] CNN

CNN 레이어가 어떻게 구성되는지 다룹니다.

2021년 6월 10일
·
0개의 댓글
·
post-thumbnail

[강화학습] REINFORCE (PG)

정책을 가지는 on policy 강화학습 기법에 대하여 알아봅니다.

2021년 5월 11일
·
0개의 댓글
·

Entropy에 대한 이해 I

요즘에 참여하고 있는 프로젝트에서 참조하는 논문 중 하나가 Multi-dimensional mutual information을 objective function으로 forwarding searching을 수행함으로써 효과적인 변수 탐색을 할 수 있다는 내용을 담고있다.

2021년 4월 17일
·
0개의 댓글
·
post-thumbnail

(2-5) 표본분포 / 추정, 검정, 교차엔트로피

표본분포, 추정, 검정, 교차엔트로피에 대해서 배워보자.

2020년 12월 11일
·
0개의 댓글
·