Deep Learning 02 Perceptron MLP

number classyfier를 예로 들자. 사람은 숫자 사진을 보고 어떤 숫자인지 바로 분류(deterministic)할 수 있다. 그러나 기계는 숫자 사진을 픽셀 기준으로 벡터화시킨 데이터를 바탕으로 확률론적(stochastic)으로 분류한다. input data가 각각의 label에 해당할 확률을 벡터로 반환하는 것이다.

숫자 사진을 16 by 16으로 256픽셀이 담긴 벡터데이터로 만들었다고 하자. 해당 알고리즘은 사진의 숫자가 0~9 중 어떤 숫자인지를 분류한다. 해당 알고리즘은 256차원의 벡터를 input data로 하고, output data로 '사진의 숫자가 해당 인덱스와 동일한 숫자일 확률'을 담은 10차원의 output data를 반환할 것이다. 딥러닝은 이러한 계산과정을 Nueral Net으로 표현한 것이다.

Notation

• input data(vector) : x
• output data(vector, 추정 값) : y_hat
• label(실제 값) : y
• bias : b
• weight : w
• weighted sum : z
• 각 layer에서의 요소들 : node
• node에 할당된 값 : feature

1. Perceptron(neuron) : Deep Neuron Network의 기본 단위 :
perceptron은 하나의 뉴런처럼 작용한다. input data의 각 요소에 weight를 곱하고, 이에 bias를 더하여 weighted sum을 구한다. 이후 nonlinear function인 activation function을 통해서 output이 결정된다.

• Programming과 Learing의 차이 :
  Programming은 weight를 코드짜는 사람이 직접 하나하나 설정하고, learing은 컴퓨터가 스스로 찾는다.

• 단일 perceptron의 한계 :
  단일 perceptron를 사용한 알고리즘의 경우 아주 간단한 예시로, x(input data)와 y(output data)가 짝지어진 2차원 공간에서 하나의 직선으로 데이터를 구분하는 것과 같다. 이는 위의 사진에서처럼 XOR과 같은 복잡하고 정교한 문제는 해결할 수 없다. 이를 해결하기 위해서는 더 많은 perceptron(MLP : multilayer perceptron)이 필요하다.

• MLP :
  MLP는 feedforward artificial neural network이다.