[ML] Neural Network

Model Representation

Neuron in the Brain

뉴런에서 주목해야 할 세가지가 있다. Cell body와 Dendrite(수상돌기), Axon(축삭돌기)이다. Dendrite는 input wires라고 생각하면 되고 Axon은 output wire라고 생각하면 된다. 이 출력 단자는 다른 뉴런에게 메시지를 전달한다. 뉴런은 계산다위이고 입력단자로 부터 값을 받아 축삭돌기를 통해 다른 노드나 뉴런으로 전달한다. 뉴런은 스파이크라고 불리는 작은 선기 신호를 통해 다른 뉴런에게 보낸다.

우리가 컴퓨터 상에서 구현하고자 하는 nueral network는 굉장히 단순한 모델을 사용할 것이다. 우리가 모델로 사용할 뉴런은 단지 논리적인 단위이다.
이 노란원을 뉴런이라고 생각하고, 왼쪽 화살표를 수상돌기, 또는 input wiles, 그리고 오른쪽 화살표를 output이라고 생각하면 된다. $h_\theta(x)$가 의미하는 것은 아래 그림과 같다.

가끔 필요할 때 $x_0$ 노드를 추가할 것이다. $x_0$는 bias unit, bias neuron이라고 표현하는데 $x_0$는 항상 1이라서 가독성을 높이기 위해 생략하는 경우도 있다.
우리는 이 뉴런 모델을 Sigmoid(logistic) activation function 이라고 부른다. actiavation function이라는 뜻은 다음과 같은 비선형 함수 $g(z)=\frac{1}{1+e^{-z}}$로 표현한다. 지금까지 모델의 parameter을 $\theta$로 표현했는데, 계속 $\theta$로 표현할 것이며, 이 파라미터들은 인공신경망 용어로 weight of model(parameter of model)이라고 할 수 있다. 이 작은 다이어그램은 하나의 뉴런을 나타낸 것이다.

이렇게 뉴런은 여러개로 이루어져 있고, 가끔은 $x_0$를 포함할 수 있다.
여기서 Layer 1은 input layer, Layer 3는 hypothesis를 계산한 최종값을 출력하기 때문에 output layer라고 부른다. Layer 2는 hidden layer라고 부르는데, 직관적으로 생각해보면 hidden layer에 있는 값들은 traning set에서 볼 수 없기 때문에(x도 y도 아니기 때문에) hidden layer라고 부른다.

그 외 용어는 위와 같이 정리할 수 있다.