3.1 퍼셉트론

여러 입력을 하나의 분류 결과로 바꾸려면, 입력을 합치는 방법과 결과를 결정하는 기준이 필요하다. 퍼셉트론은 이 두 부분을 구분해서 보여주는 초기 신경망 모델이다.

가중합에서 출력으로

퍼셉트론(Perceptron)은 입력마다 가중치를 곱해 더한 뒤, 정해진 기준에 따라 0이나 1을 출력한다. 입력이 $n$개일 때 계산은 다음과 같다.

$x_i$는 입력값, 가중치(Weight) $w_i$는 각 입력에 곱하는 계수, 편향(Bias) $b$는 합에 더하는 상수이다. 다른 입력이 같다면, 양의 가중치는 해당 입력이 커질수록 $z$를 높이고 음의 가중치는 낮춘다.

이 값을 출력으로 바꾸는 함수를 활성화 함수(Activation function)라고 한다. 여기서는 계단 함수(Step function)를 사용하며, 경계값의 출력은 1로 정한다.

편향이 바꾸는 판단 기준

가중합을 임계값(Threshold) $\theta$와 비교한다면, $b=-\theta$로 놓아 같은 판단을 표현할 수 있다.

편향을 높이면 출력이 1이 되기 쉬워진다. 입력이 두 개이고 가중치가 모두 0은 아닐 때, 출력이 갈리는 경계는 직선 $w_1x_1+w_2x_2+b=0$이다. 가중치를 고정하고 편향을 바꾸면 이 직선이 평행하게 이동한다.

예를 들어 $x_1,x_2\in\{0,1\}$에 대해 $z=x_1+x_2-1.5$로 정하면, 두 입력이 모두 1일 때만 $z$가 양수가 된다. 따라서 AND 연산을 나타낸다. 이 값들은 계산을 설명하려고 정한 것이며, 데이터로 학습한 결과는 아니다.

직선 하나로 구분한다는 한계

입력층에서 출력층으로 바로 연결되는 구조를 단층 퍼셉트론(Single-layer perceptron)이라고 한다. 두 입력의 경우 직선 하나로 두 범주를 나눌 수 있어야 모든 입력을 올바르게 분류할 수 있다. 가중치와 편향을 바꿔도 경계가 직선이라는 성질은 유지되기 때문이다. 따라서 직선 하나로 나뉘지 않는 문제는 값을 조정하는 것만으로 해결되지 않는다.

이 한계는 입력과 출력 사이에 중간 계산을 추가하는 다층 퍼셉트론으로 이어진다.

참고자료

• 위키독스, 06-02 퍼셉트론