sigma($\sigma$)처럼 생긴 S자 곡선 → sigmoid

Logistic function

실수 전체 범위 (−∞,∞)의 값을 입력으로 받아 이를 0과 1 사이의 값으로 변환하는 함수

Softmax

로지스틱 함수를 멀티 클래스로 확장시킨 것.

Hyperbolic tangent

로지스틱 함수의 입력을 2배로 스케일링한 뒤, 출력을 2배로 스캐일링하고 1을 빼는(shift) 변환