활성화 함수(ReLu)

렐루(Rectified Linear Unit)함수

• 기울기 소실 문제를 완화하고 빠른 학습을 가능하게 하는 장점

• 렐루 함수는 입력이 양수인 경우 입력 값을 그대로 출력

• 음수인 경우 0을 출력한다

렐루 함수의 주요 특징

1. 비선형성(Non-linearity)

   렐루 함수는 입력 값이 음수 일 때 0을 출력하므로 비선형 함수

   신경망이 다양한 복잡한 패턴과 관계를 학습 할 수 있게 한다

2. 기울기 소실 문제 해결

   시그모이드나 하이퍼볼릭 탄젠트와 같은 활성화 함수는
   입력이 크거나 작을 때 기울기(그래디언트)가 매우 작아져
   기울기 소실 문제가 발생 할 수 있다

   렐루 함수는 양수 입력에서 기울기가 1이기 때문에
   기울기 소실 문제를 완화한다

3. 빠른 학습

   렐루 함수는 입력이 양수인 경우에는 그래디언트가 1로
   유지되므로 학습이 빠르게 수렴할 수 있다