신경망, 활성화 함수

댱·2023년 7월 2일

Deep Learning Neural Network

영상처리 딥러닝

목록 보기

3/7

🔎 신경망의 구조

입력층 (Input), 은닉층 (Hidden), 출력층 (Output)으로 구성되어 있다.

입력층

데이터 층으로부터 입력을 받는다.
입력 개수와 노드의 수는 같다.
신경망의 층을 셀 때, 입력층은 제외하고 센다. (위 사진의 경우 2층)

은닉층

입력층과 출력층 사이에 있는 모든 층
내부 계산 결과를 볼 수 없다.

출력층

신경망의 마지막 층
대부분 활성화 함수를 사용한다.

🔎 활성화 함수

퍼셉트론은 입력과 가중치의 계산값이 임계값(θ)를 넘을 때만 1을 출력한다.
이처럼 입력에 따라 적절한 출력을 하기 위해 사용되는 함수를 활성화 함수(Activation Function)라고 한다.

활성화 함수는 비선형 함수로 이루어져 있다.
선형 함수를 사용했을 때는 은닉층을 사용하는 이점이 없기 때문이다.

계단함수 (Step Function)

퍼셉트론에서 사용된다.
임계값을 경계로 출력이 1로 변한다.

😥 단점

임계점에서 미분이 불가능하다.

시그모이드 함수 (Sigmoid Function)

계단함수와 달리 미분 가능한 연속성을 갖는다.

신경망은 미분을 통해 학습하기 때문에(오차역전파법) 계단함수가 아닌 시그모이드 함수를 사용한다.

시그모이드 함수는 로지스틱 (Logistic) 함수다.

😄 장점

출력 값의 범위가 0~1 사이이며, 매끄러운 곡선을 가지므로 경사하강법을 시행할 때 기울기 폭주(Gradient Exploding)가 발생하지 않는다.
분류는 0과 1로 나뉘며, 출력 값이 어느 값에 가까운지를 통해 쉽게 분류할 수 있다.

😥 단점

시그모이드 함수의 출력값은 모두 양수기 때문에 경사하강법을 진행할 때, 기울기가 모두 양수 또는 음수가 된다. 이는 기울기 업데이트가 지그재그로 변하게 하여 학습 효율성을 감소시킨다.
입력 값이 아무리 크더라도, 출력 값의 범위가 좁기 때문에 기울기 소실(Vanishing Gradient)이 일어날 수 있다.

💡 기울기 소실

시그모이드 함수는 아무리 큰 값이 들어온다 해도, 0~1 사이의 값만 반환하기 때문에 기존 값과 비교해 출력 값이 매우 작아지게 된다.
또한, 출력의 중앙 값이 0이 아닌 0.5이며, 모든 값이 양수이기 때문에 출력의 가중치 합이 입력의 가중치 합보다 커지게 된다.
이를 편향 이동 (Bias Gradient)이라 하고, 신호가 각 층을 통과할 때마다 분산이 계속 커지게 되어, 활성화 함수의 출력이 최솟값과 최댓값인 0과 1에 수렴하게 된다.

시그모이드 함수의 입력값이 0이나 1에 가까울수록 기울기는 0에 가까워진다.
이로 인해 노드의 기울기(Gradient) 값이 0이 되고, 역전파 시 0이 곱해져서 기울기가 소멸되는 현상이 발생한다.
즉 역전파가 진행될수록 아래 층에 아무 신호가 전달되지 않는 것이다.