cs231n 1-4. Question 1

We've only asked you to implement ReLU, but there are a number of different activation functions that one could use in neural networks, each with its pros and cons. In particular, an issue commonly seen with activation functions is getting zero (or close to zero) gradient flow during backpropagation. Which of the following activation functions have this problem? If you consider these functions in the one dimensional case, what types of input would lead to this behaviour?

여기서는 ReLU를 구현하는 방법만 설명했지만, 신경망에 사용할 수 있는 활성화 함수는 여러 가지가 있으며, 각각 장단점이 있습니다. 특히 활성화 함수에서 흔히 볼 수 있는 문제는 역전파 중에 기울기 흐름이 0(또는 0에 가깝게)이 되는 것입니다. 다음 중 어떤 활성화 함수에 이러한 문제가 있을까요? 이러한 함수를 1차원적인 경우로 생각해 보면 어떤 유형의 입력이 이러한 동작을 유발할 수 있나요?

1. Sigmoid
2. ReLU
3. Leaky ReLU