[딥러닝] 활성함수

Peter·2021년 7월 5일
0

딥러닝

목록 보기
6/47

활성함수

입력값과 가중치를 내적한 값을 다음 신경망으로 보낼때 얼마나 증폭/감쇄 할지 결정해주는 활성함수

여러타입의 활성함수 형태가 있는데
학습과정에서 그래디언트 계산상 문제가 발생

  • logistic sigmoid, tanh sigmoid 같은 경우 미분값을 보면 양 끝단에서 그래디언트 값이 0값이 되버리는 문제가 발생
    그래디언트가 0이 되면 가중치가 변화하지 않음
  • ReLU는 이런 문제를 해결해줌
profile
컴퓨터가 좋아

0개의 댓글