[ML]Logistic Regression(로지스틱 회귀), Softmax function, Cross entropy 정리

건너별·2022년 2월 20일
0

ML

목록 보기
16/21
post-thumbnail

Logistic regression

  • logit(log odds) 의 개념으로부터 나옴
  • Linear regression의 hypothesis function에 sigmoid function을 적용한 것으로, 이진분류 문제에 이용됨
  • 결과는 확률값으로 매핑됨

Softmax function

  • multivariate linear regression(Logistic regression의 일반화된 버젼)
  • 다중분류문제에 이용됨

Softmax function

Cross entropy

  • 정답의 분포 p, 예측값의 분포 q로부터 두 분포의 차이를 비교하는 metric으로부터 출발된 개념
  • Likelihood를 최대화하는 식에 음수 부호가 붙어 Loss function을 의미하게 됨
  • 확률값으로 매핑된 예측값의 Loss를 합리적으로 측정하고, 최적화하는 데에 이용됨
profile
romantic ai developer

0개의 댓글