신경망이란?
- 뇌에는 뉴런(Neuron) 이라는 신경세포가 있고, 이들이 전기 신호를 주고받으며 정보를 처리함
- 인공 신경망(Artificial Neural Network, ANN)은 이 구조를 단순화해서 노드(node) 와 연결(weight) 로 표현
- 입력을 받아 가중치(weight)를 곱하고, 합산한 값을 활성화 함수(activation function) 에 넣어 결과를 출력
신경망의 신호 전달 방법을 보기 전에 ... 퍼셉트론 복습
- b는 편향을 나타내는 매개변수, 뉴런이 얼마나 쉽게 활성화되느냐를 제어
- w는 각 신호의 가중치를 나타내는 매개변수, 각 신호의 영향력을 제어
- 편향의 입력 신호는 항상 1 (왜그렇죠? ㅎ)
활성화 함수
- h(X)와 같이 입력 신호의 총합을 출력 신호로 변환하는 함수
- 임곗값을 경계로 출력이 바뀜 = 계단함수
- 퍼셉트론에서는 활성화 함수로 계단 함수를 이용한다고 할 수 있음
시그모이드 함수
- 신경망에서는 활성화 함수로 시그모이드 함수를 이용해 신호를 변환하고, 변환된 신호를 다음 뉴런에 전달한다.
- 퍼셉트론과 신경망의 차이는 이 활성화 함수 뿐
선형함수와 비선형함수
- 선형함수 : 출력이 입력의 상수배만큼 변하는 함수, f(x) = ax + b, 직선
- 비선형함수 : 문자 그대로 선형이 아닌 함수, 직선 1개로는 그릴 수 없는 함수
- 계단함수, 시그모이드함수는 비선형함수임
시그모이드 함수의 이 매끈함이 신경망 학습에서 중요한 역할을 하게 됨
