* 강사님의 자료는 저작권이 있기 때문에 배운 내용을 최대한 간단하게 정리하는 수준으로 작성하였습니다.
Activation Function
자연상수
- 사용이유
- 미분이 깔끔하게 됨
- 성능이 좋게 나옴
- 자연현상과 밀접한 관계를 가져 자연상수라 불림
- sigmoid activation function에 사용됨
Gradient Vanishing
- 오차역전파 시, 입력층으로 갈수록 가중치 업데이트가 잘되지 않는 경우가 있음
- 해결방안
- ReLU : 학습 속도가 sigmoid보다 빠른 편
- LeakyReLU : ReLU의 단점 보완
* written on July 2nd
차가운 머리와 따뜻한 마음