ReLU는 최근에 주로 사용하게 된 활성함수의 하나! 입력이 0이 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수이다. (sigmoid는 신경망 분야에서 오래전부터 이용했던 함수)
수식은 다음과 같이 나타낼 수 있다.
h(x)={x(x>0)0(x≤0)h(x) = \begin{cases} x & (x > 0) \\ 0 & (x \le 0) \end{cases}h(x)={x0(x>0)(x≤0)
def relu(x): return np.maximum(0, x)
numpy의 maximum을 사용해서 두 입력 중 큰 값을 선택해 반환하는 함수이다.