[딥러닝수학] 확률과통계_2

book title : 딥러닝을 위한 수학
pages : 154 ~ 160
key concepts :

• 시그모이드와 normal distribution의 관계
  • normal distribution을 cumulative distribution function으로 봤을 때 sigmoid 모양이 나온단다.
  • 이를 다르게 얘기하면, Neural Networks에서 입력값(독립변수가)이 정규분포를 따른다고 할 때, 이들의 출력값도 정규분포랑 연관되게(? 나의 이해로는...) 나오는 게 좋은데 그런데 이 때 less or equal to the variable의 확률을 나타내는 CDF가 출력값을 확률로 얻고자 할 때 더 좋은 가보다.
  • 간단 답변 링크
• Maximum Likelihood Estimation
  • Likelihood function
    • 확률적 특징을 나타내는 변수를 포함한 식
  • 이 Likelihood function에서 Liklihood가 가장 높게 나오는 매개변수값을 구하는 게 Maximum Likelihood Estimation
  • 방법은 해당 매개변수로 미분해서 그 값이 0이 되는 지점을 찾는 것
    • 가정으로 깔린 것은 Likelihood function은 확률에 대한 함수이니 '양 끝으로 갈수록 0에 가까워지고 어느 지점에서 최대값을 가질 것이다'라는 것
  • 그런데 미분 시 확률(0 ~ 1 사이의 값)을 곱하는 경우가 많아서 log 변환을 한다.
    • 하면 곱셈이 덧셈으로 돼서 미분하기 쉬워지고,
    • 변환 전에는 엄청 작은 값들 간의 gap(?)이(0 ~ 1 사이의 값이니) 좀 더 넓어져서 편해짐(내가 이해한 바로는...)

이로써 이 책에서의 이론편을 어느 정도 이해하고 넘어가게 되었다. 살 때는 괜찮은 책인 줄 알았는데 이론편에 있어서는 너무 듬성듬성 넘어가는 경향이 있는 것 같아 다른 자료들을 많이 참고해야 했다.(그리고 그 때 더 많이 깨닫고 배우게 된 것 같다.) 여튼 코딩으로 짜보는 실습편은 좀 길게 작성되어 있으니 기대하고 가보도록 하자...!