밑바닥부터 시작하는 딥러닝 챕터 3 퍼셉트론 정리

단층 퍼셉트론

• 단층 네트워크에서 계단함수를 활성화 함수로 사용한 모델

다층 퍼셉트론

• 신경망(여러 층으로 구성되고 시그모이드 함수 등의 매끈한 활성화 함수를 사용하는 네트워크)

시그모이드 vs 계단함수

• 공통점
  - 입력값에 관계없이 출력은 0 ~ 1 사이
  - 비선형 함수
• 차이점
  - 매끈함..

활성화 함수를 비선형 함수를 사용하는 이유

• 선형 함수를 사용한다면 층을 깊게 하는 의미가 없어진다. 선형 함수만으로 층을 깊게 쌓아도, 어차피 선형 함수이다.

출력층에서 사용하는 활성화 함수 선택 기준

• 일반적으로 회귀에는 항등 함수
• 분류에는 소프트맥수 함수

소프트맥스 함수

• 소프트맥스 구현시 오버플로우에 주의 (익스퍼넨셜 )
  -> 분자에 올라가는 익스퍼넨셜 지수에서 입력의 최댓값을 빼줘서 구현
• 출력 총합이 1 이어서 확률로 해석이 가능

백색화

• 전체 데이터를 균일하게 분포시키는 것