인공신경망
- 뉴런
- The Activation Function (활성화함수)
- Neural Networks 의 작동원리
- Neural Networks 의 학습원리
- Gradient Descent
- 확률적 경사하강법
- 역전파 (Backpropagation)
뉴런
뉴런은 인공신경망의 기본 블록과 같다.
✅ 실제 뉴런 관찰하기
실제 뉴런의 모습.
기계에다 이걸 어떻게 재현할 것인지가 주요 과제다. (엄청난 학습 기계! 인간의 뇌가 가장 강력한 학습 매커니즘이기 때문이다.)
뉴런, 가지돌기, 긴 꼬리는 축삭이라 한다.
뉴런 은 뉴런 스스로는 혼자서 많은 일을 하지 못한다. 여러 뉴런이 얽혀 더 많은 정보를 처리할 수 있는 것인데, 이때 가지돌기 와 축삭 을 사용한다. 가지돌기 는 뉴런으로 들어오는 신호를 받고, 축삭 은 신호를 내보내는 역할이다.
실제 뉴런이 이어진 모습이다. 축삭이 닿아있는 것은 아니지만, 그 사이로 신호를 전달할 수 있고, 작은 네모 그림에 나타난 연결을 시냅스라 한다.
✅ 기술과 연결하기
초록 뉴런이 노란 뉴런으로부터 신호를 받는 체계다. 노란색은 입력층을 뜻한다.
입력층은 인간의 뇌로 비유하면 감각(오감)과 같다. 감각으로부터 뇌로 들어온 신호를 뇌가 처리하는 것! 머신러닝, 딥러닝에선 input 이고 입력값이다.
노란원과 초록원을 잇는 선은 시냅스이다. 신호가 시냅스를 지나 뉴런으로 가면 뉴런은 출력값을 사슬 오른쪽으로 보낸다.
입력이 모인 입력층이 있다. 한 입력층을 한 행이라고 해보자. (각각의 입력값은 평균 0, 분산을 1로 만들어주는 표준화가 필요하다. 또는 정규화) 표준화, 정규화가 필요한 이유는 신경망이 입력값을 잘 처리하기 위함이다.
출력값은 가격처럼 연속적일 수도, 범주형일수도 있다.
하나의 관찰값, 하나의 관찰값 사이에 뉴런이 작동하는 것이다. (같은 행, 하나의 행을 사용한다.)
시냅스에는 가중치가 할당된다. 가중치는 신경망이 학습하는 방법이며, 가중치를 조절해서 어떤 신호가 중요, 덜 중요를 조절하고 이는 학습으로 가능하다. (경사하강, 역전파 기법)
뉴런 안에서는
- 이 값들이 모두 더해진다. (입력값의 가중합)
- 활성화 함수를 씌운다.
- 신호를 다음 뉴런으로 보낸다.
