1. 퍼셉트론
역치 : 자극에 대해 어떤 반응을 일으키는 데 필요한 최소한의 자극의 세기
X1, X2(외부 입력값 2개)에 대해서 총합을 더함(선형모델)
이 값을 활성화 함수(Activation function, 역치)에 전달
XOR 게이트
다층 퍼셉트론
- 비선형 데이터를 분리 할 수 있다
- 학습시간이 오래 걸린다
- 가중치 파라미터가 많아 과적합되기 쉽다
- 가중치 초기 값에 민감하여 지역 최적점에 빠지기 쉽다
- 선형모델은 가중치, 초기값을 랜덤으로
2. Activation Function
Sigmoid 함수
-
활성화 함수로 비선형 함수를 사용하는 이유
- 계단 함수(step)와 시그모이드 함수는 비선형 함수
- 활성화 함수로 선형함수를 사용하면 중간층(은닉층)을 여러 개 구성한 효과를 살릴 수 없다
-
Step과 Sigmoid의 차이
- 선형 모델이 학습하기 위해서 경사하강법(cost 함수를 미분)을 사용
2.1 문제 유형에 따라 사용되는 활성화 함수와 오차함수 종류
2.1.1 Softmax
