[DL] 활성화 함수 (Activation Function)

활성화 함수 (Activation Function)

-신경망에서 각 뉴런의 출력을 결정하는 함수로, 입력 신호를 변환하여 다음 층으로 전달한다.
-활성화 함수는 신경망의 비선형성을 도입하여 복잡한 패턴을 학습할 수 있게 한다.
-보통 은닉노드와 출력노드에 존재, 해당 노드에 입력된 값을 변환하여 출력하는 역할을 수행한다.

• 주요 조건
  비선형 → 신경망이 복잡한 데이터의 패턴을 학습하고, 선형 모델로는 표현할 수 없는 함수를 모델링

활성화 함수 종류

• Sigmoid
  -출력값을 0과 1 사이로 압축, 확률과 같은 값이 필요할 때 주로 사용
  -모든 입력값에 대해 0과 1 사이의 값을 반환
  -기울기 소실 문제 발생 가능성이 존재
  -깊은 네트워크에서는 사용이 제한적

  

• ReLU
  -가장 많이 사용되는 활성화 함수 중 하나
  -입력이 0보다 클 때는 입력 그대로 출력, 0 이하일 때는 0 출력
  → 모델의 비선형성을 증가, 계산 효율↑
  

• tahn
  -출력 범위 : -1에서 1 사이
  -sigmoid 함수와 유사, 출력 범위가 확장되어 있어 더 넓은 범위의 값 모델링 가능
  

• SoftMax
  -출력 범위 : 0에서 1 사이
  -주로 분류 문제의 출력층에서 사용 (다중 클래스 분류 문제에서 각 클래스에 속할 확률을 추정)
  -신경망의 출력을 확률 분포로 변환 (각 클래스에 대한 출력값을 0과 1 사이의 값으로 변환, 이 값들의 합은 1)
  가장 높은 확률을 가진 클래스가 모델의 예측으로 선택