활성화 함수(Activation Function)

현주·2024년 12월 15일

활성화 함수란?

활성화 함수가 무엇인지 알려면 인공 신경망에 대한 이해가 필요하다. 인공 신경망 공부 글 바로가기😺
은닉층과 출력층의 각 뉴런들은 입력값을 가충치와 곱하고 편향을 더한 값을 활성화 함수에 통과시킨다. 활성화 함수는 입력값을 처리하여 출력값으로 변환하는 함수이다.
이 글에서는 활성화 함수가 무엇인지, 왜 사용하는지, 어떤 함수들이 있는지 알아본다.

활성화 함수의 역할

비선형성 추가

활성화 함수는 선형이 아닌 비선형 함수여야 한다. 비선형 함수란 직선 한개로는 그릴수 없는 함수를 말한다.

출력이 입력의 상수배만큼 변하는 함수가 아니어야 한다.
예) 뉴런의 입력값인 $f(x) = wx + b$ 가 바로 선형 함수이다.

활성화 함수를 통과시키지 않은 선형 연산( $wx+b$ )만 있다면, 각 층에서 단순히 곱하고 더하는 선형 함수로 단순화 된다. 이러면 아무리 많은 층을 쌓아도 신경망은 하나의 선형 함수가 되고 복잡한 데이터 패턴(비선형 경계)을 학습하지 못한다.

현실의 문제는 비선형적이다. 현실의 문제 대부분은 선형적으로 해결할 수 없다. 하지만 활성화 함수를 레이어마다 통과시켜 더 복잡한 패턴을 학습할 수 있다.

출력값 제한

활성화 함수는 뉴런의 출력값을 특정 범위로 제한한다.
예) sigmoid 함수는 출력값을 0과 1사이로 제한하는데 이는 확률 값을 나타내는 데 유용하다.

활성화 함수 종류

계단 함수(Step function)

최초의 인공신경망, 퍼셉트론에서 사용한 활성화 함수인 계단 함수이다. 계단 함수는 거의 사용되지 않는다.

시그모이드 함수(Sigmoid function)와 기울기 소실

시그모이드 함수는 입력값을 0과 1사이의 값으로 변환한다. 딥러닝 이전에 많이 사용되던 함수다. 하지만 기울기 소실 문제 때문에 딥러닝의 은닉층에서는 잘 사용하지 않고, 이진 분류를 위한 출력층에서 사용한다.

기울기 소실문제

시그모이드 함수 그래프를 보면 출력값이 0과 1로 가까워질수록 기울기가 0에 가까워진다.
그러면 딥러닝 학습의 과정인 순전파 연산 후 손실함수 오차의 미분을 통해 기울기를 구해 가중치를 업데이트하는 역전파 과정에서 0에 가까운 값이 누적해서 곱해지면서 결국 기울기가 잘 전달되지 않게 된다.
그러면 가중치가 업데이트되지 않게 되고, 이런 현상을 기울기 소실 문제(Vanishing Gradient)라고 한다.
👉 순전파 역전파 공부 글 바로가기

하이퍼볼릭탄젠트 함수(Hyperbolic tangent function)

하이퍼볼릭 탄젠트 함수는 입력값을 1과 -1사이의 값으로 변환한다. 그래프를 보면 알겠지만 기울기가 완만해지는 구간이 있기때문에 시그모이드 함수와 같은 문제가 발생한다.
하지만 시그모이드와 달리 출력값 중심이 0이고 미분했을 때 시그모이드의 미분 최대값보다는 커서 시그모이드 함수보다는 활성화 함수로 사용했을 때 전반적으로 큰 값이 나온다.
따라서 시그모이드 보다는 기울기 소실 현상이 적은 편이고 은닉층에서 시그모이드 함수보다는 선호된다.

렐루 함수(ReLU)

은닉층에서 가장 인기있는 활성화 함수이다. 입력값이 음수면 출력값은 0, 출력값이 양수면 그대로 반환한다.
즉 출력값이 수렴하지 않는다. 딥러닝의 은닉층에서 시그모이드 보다 훨씬 잘 작동한다.
또한 시그모이드나 하이퍼 탄젠트 같이 연산이 필요한 것이 아닌 단순 임계값이어서 속도도 빠르다.
하지만 입력값이 음수일때 기울기가 0이 되어 다시 회생하기 어렵다. 이 문제를 죽은 렐루(dying ReLU)라고 한다.

리키 렐루 함수(Leaky ReLU)

죽은 렐루를 보안하기 위해 렐루의 여러개의 변형 함수들이 등장한다. 리키 렐루는 입력값이 음수일 때 0이 아닌 아주 작은 수를 반환한다.

수식은 $f(x)=max(ax,x)$ 이다. a는 새는(Leaky) 정도를 의미하고 하이퍼파라미터이다. 일반적으로 새는 정도(a)는 0.01의 값을 가지며 입력값이 음수일때의 기울기를 비유한다.

소프트맥스 함수(Softmax function)

딥러닝의 은닉층에서는 렐루나 렐루 변형 함수를 사용하는 것이 일반적이다. 소프트맥스 함수는 시그모이드 함수처럼 출력층에서 사용한다.
시그모이드가 이진 분류 문제에 사용한다면, 소프트맥스 함수는 세가지 이상의 선택지에서 하나를 고르는 다중 클래스 분류 문제에서 사용한다.

마무리

활성화 함수는 딥러닝 모델이 복잡한 데이터의 패턴을 학습할 수 있도록 하는 중요한 요소이다. 선형 변환만으로는 현실 세계의 비선형적인 문제를 해결할 수 없기 때문에, 활성화 함수는 신경망에 비선형성을 더해 깊은 네트워크가 더 높은 표현력을 가지도록 돕는다.
활성화 함수에 대해 정리하면서 딥러닝이 얼마나 체계적이고 세밀한 원리로 작동하는지 다시 한번 느끼게 된다.
아무튼 화 이 팅🐛