peterpictor.log
로그인
peterpictor.log
로그인
[딥러닝] 활성함수
Peter
·
2021년 7월 5일
팔로우
0
딥러닝
퍼셉트론
활성함수
0
딥러닝
목록 보기
6/47
활성함수
입력값과 가중치를 내적한 값을 다음 신경망으로 보낼때 얼마나 증폭/감쇄 할지 결정해주는 활성함수
여러타입의 활성함수 형태가 있는데
학습과정에서 그래디언트 계산상 문제가 발생
logistic sigmoid, tanh sigmoid 같은 경우 미분값을 보면 양 끝단에서 그래디언트 값이 0값이 되버리는 문제가 발생
그래디언트가 0이 되면 가중치가 변화하지 않음
ReLU는 이런 문제를 해결해줌
Peter
컴퓨터가 좋아
팔로우
이전 포스트
[딥러닝] 다층 퍼셉트론
다음 포스트
[딥러닝] 다층 퍼셉트론 구조
0개의 댓글
댓글 작성