퍼셉트론

퍼셉트론은 신경망(딥러닝)의 기원이 되는 알고리즘.

$x_0$ ~ $x_n$은 입력신호
$y$는 출력신호
$w_0$ ~ $w_n$은 가중치

입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다 ($w_0x_0$, $w_1x_1$)

뉴런에서 보내온 신호의 총합이 정해진 한계(임계값 : $\theta$)를 넘어설 때만 1을 출력한다. (== 뉴런이 활성화 한다)

퍼셉트론으로 구현하는 논리 회로

퍼셉트론으로 매개변수(가중치, 임계값)를 조절하여
AND, NAND, OR 논리 회로를 표현할 수 있다.

편향 도입

여기서 $b$를 편향(bias)이라 한다.
편향은 가중치와 기능이 다르다.
가중치는 입력 신호가 결과에 주는 영향력(중요도)을 조절하는 매개변수.
편향은 뉴런이 얼마나 쉽게 활성화(결과로 1을 출력)하느냐를 조정하는 매개변수.

예를 들어, $b$가 -0.1이면 각 입력 신호에 가중치를 곱한 값들의 합이 0.1을 초과하기만 하면 뉴런이 활성화되는데, $b$가 -20.0이면 각 입력 신호에 가중치를 곱한 합이 20.0이하이면 뉴런은 활성화되지 않는다.

단층 퍼셉트론의 한계

단층 퍼셉트론은 직선 하나로 나눈 영역만 표현할 수 있다는 한계가 있다.
따라서 퍼센트론으로 XOR Gate를 표현할 수 없다.

다층 퍼셉트론

단층 퍼셉트론으로 XOR Gate를 표현할 수 없다.
하지만 '층을 쌓아' 다층 퍼세트론(Multi-Layer Perceptron)으로 XOR Gate를 표현할 수 있다.

AND, NAND, OR Gate 조합 ➡️ XOR Gate

XOR는 다음과 같이 다층 구조의 네트워크이다.
앞서 AND, OR가 단층 퍼셉트론인 데에 반해, XOR는 다층 퍼셉트론이다.
이처럼 다층 퍼셉트론을 사용하여 복잡한 함수를 표현할 수 있다.