시그모이드 활성화 함수

들어가기에 앞서

퍼셉트론의 한계로 인해 다층신경망이 생겨났고 다층 신경망은 입력값과 여러 은닉층 그리고 출력층으로 이루어진 신경망이다. 이번 시간에는 이전까지 다뤘던 계단형태의 활성화 함수의 문제와 문제 해결방법으로 제시된 시그모이드 함수에 대해 알아볼 것이다.

퍼셉트론 모델

계단 모양의 활성화 함수

이전까지 봤던 활성화 함수는 계단형태의 활성화 함수이다.
이러한 계단형태의 활성화 함수는 0.1 과 0.49와 같은 차이를 구분할 수 없다. 역치 값을 기준으로 출력값을 0과 1로 정하기때문이다.

시그모이드 함수의 탄생

이런식의 시그모이드 함수는 퍼셉트론에서 가지고 있던 계단함수 모양의 활성화함수의 문제점의 해결을 가져왔다.

시그모이드 함수의 차별점

시그모이드 함수는 미분가능한 함수이다.
다층 퍼셉트론의 학습에서는 역전파(backpropagation)알고리즘을 이용하여 학습을 하는데 역전파방식을 위해서는 경사하강법(gradient descendent) 을 사용하는데 경사하강법에서는 활성화 함수가 미분가능해야한다.

시그모이드 함수의 문제점

1. 기울기가 사라지는 지점이 존재한다.
   

2.학습 가중치의 변화 중 지그재그현상이 일어난다.

출처 : '신박 AI' 유튜브