What is Activation fuction

Neural Network를 구성하는 Neuron의 Output Signal에 Non-Lenear(비선형성)을 추가하기 위하여 각 Neuron(Node)의 마지막에 부가하여 Neuron의 활성화여부를 결정하는 Function이다.

Why Activation function

Neuron에 입력된 Signal을 다음 Layer 또는 Network의 Output signal로 어떻게 바꿔 보낼지 결정하기 위해 사용한다.
사용하기에 따라 아예 안보낼 수 도 있고, 일부만 보내거나, 일부는 조금 보내는 효과를 얻을 수 있다.

Contents

Step function

Binary Classification 문제에 적합한 activation function이다.
Step Function을 거치면 Output이 0 또는 1의 값만을 가질 수 있어,
Multi-category classification 문제에 사용하기에 부적합하다.

Linear function

비활성화 없이, 입력 그대로 출력하는 함수,
derivarative(도함수)가 Input Signal에 영향을 받지 않는 상수이기 때문에
Backward Propagation을 통해 Optimization이 불가한 단점이 있다.

Sigmoid function

확률이 0과 1사이의 값을 갖는다는 확률의 성질에 따라
Output Signal이 Prediction을 나타내야할 때 주로 사용한다.

Gradient Vanishing

zero-centered

Expensive Computation

Tangent Hyperbolic function

ReLu

Leaky ReLu