# Cross Entropy

leesungjoon-net

엔트로피는 불확실성의 정도이다. 즉, 확률과 연관된 개념으로써엔트로피가 높다는 것은 미래의 사건이 뭐가 나올지 불확실한정도가 크다는 것이고 낮다는 것은 미래의 사건이 뭐가 나올지 비교적 확실하다는 것이다.엔트로피는 확률분포와 연관해서 기억하면 좋을 것이다.위의 두 확률

daybreak13411

1번, 2번 포스트에서는 NN이 무엇이고 어떻게 구성되어 있는지, 학습이란 무엇이고 어떤 방법으로 진행되는지에 대해 간략하게 알아봤다.그럼 이 NN으로 어떤 것들을 할 수 있냐?요즘 나오는 인공지능 관련된 서비스들을 모두 할 수 있다. 근데 그 서비스들도 다 분해해보면

amzyoungchae

정보를 표현하는 데 필요한 최소 평균 자원량 흔하게 일어나는 일일수록 정보량이 적고, 적게 일어나는 일일수록 정보량이 많다는 아이디어로 출발하여 아래 그림과 같이 정보량 표현

mellonggo

모델 학습에서 이미지를 보고 실제 분포를 예측하게 한다. 하지만 실제 분포는 정답이 있기 때문에 [0, 1, 0] 이런식으로 불확실도가 0으로 두고 계산한다. [개, 고양이, 물고기] 중에 정답은 고양이 1개로 정해지기 때문이다.

amin

(사진 출처 : https://medium.com/data-science-bootcamp/understand-cross-entropy-loss-in-minutes-9fb263caee9a)

humanlearning

이번 포스트에서는 개인적으로 딥러닝에서 가장 중요하다 생각하는 loss function, optimizer중 loss function의 cross entropy를 설명하려합니다. cross entropy를 알기 전 먼저 정보이론에 대해 알고 가겟습니다. 컴퓨터는 전기

sanha9999

이미 슬픈 Cross Entropy 복습하기.

gongsam

1. 정보이론 톺아보기 2. 회고

brighteast

Entropy 에 대해 이야기 해보자!

sp1rit

지도학습의 경우 문제가 두 가지 분류(Classification)와 회귀(Regression) 문제로 나뉜다.분류는 입력 데이터의 특성(feature)을 이용해 해당 데이터의 클래스(label)를 추론하는 것회귀는 입력 데이터의 특성(feature)을 통해 연관된 다른

gongsam

1. 머신러닝 개념 정리 2. 딥러닝 개념 정리 3. 회고

minji-o-j

다층 퍼셉트론

dyeudsla

이번 포스팅에서는 선형회귀(Linear Regression)와 로지스틱 회귀(Logistic Regression)에 대해 알아보려 한다. 회귀(Regression) 회귀분석(Regression Analysis) 이란 통계학에서 전통적으로 많이 사용되던 분석 방법이다.

uonmf97

softmax regression이란 : 함수를 통해 분류해야 되는 정답지(클래스)의 총 개수를 k라고 할 때, k차원의 벡터를 입력 받아서, 각 클래스에 대한 확률을 추정하는 회귀방식. Softmax Regression를 활용할 수 있는 상황 _ 1. binary

good159897

다항 로지스틱 회귀(Multinomial Logistic Regression)는 종속변수가 범주 형이면서 3개 이상의 범주를 가질때, 적용할 수 있는 Logistic Regression 모델입니다.