활성화 함수

• 퍼셉트론에서는 input 과 가중치를 곱하고 더하는 선형 연산이 일어남
• 비선형 문제 해결을 위해 이 선형 연산에 활성화 함수를 적용

활성화 함수의 종류

Heavyside Step Function

• 0, 1로만 출력되기 때문에 매우 단조롭다

Sigmoid Function

• 0과 1 사이의 실수 형식으로, 계단 함수보다 다채로운 출력
• 흐른다 / 막혔다를 떠나 강약을 표현할 수 있게 됨

ReLU

• Relu(x) = max(x, 0)
• 입력이 양수면 그대로, 음수면 0을 출력