요즘 Sigmoid 보다 ReLU를 많이 쓰는데 그 이유는?

면접 대비 답변

시그모이드 함수를 활성화함수로 사용하게되면, 레이어를 쌓음에 따라 지속적으로 0~1사이의 값이 곱해지게 되고 이는 0에 수렴하게 되는 문제가 발생한다. 이를 보완하기 위해 ReLU Activation Function을 활용하게 되었고, 이는 0보다 작은값은 0, 큰값은 x값을 그대로 사용하는 함수이다.

이또한 음수의 값에 대해서는 0으로 제거해버린다는 단점이 있다.

상세 내용

Reference