밑바닥부터 시작하는 딥러닝(2)

ch2 퍼셉트론

h3 퍼셉트론이란?

퍼셉트론 : 다수의 신호를 입력으로 받아 하나의 신호를 출력
신호 : 0(안 흐른다)/ 1(흐른다)

x1, x2 => 입력 신호
y => 출력 신호
w1, w2 => 가중치

각각의 입력 신호에 가중치를 곱한 값들의 총합이 정해진 한계를 넘어설 때만 1을 출력함
한계 => 임계값(theta)

가중치 : 각각의 입력 신호에 따른 고유한 값으로, 각 신호가 결과에 주는 영향력을 조정하는 요소로 작용

2.2 단순한 논리 회로

AND 게이트

NAND 게이트

OR 게이트

퍼셉트론의 매개변수 값을 정하는 것은 인간임
학습 : 적절한 매개변수 값을 정하는 작업

3개의 게이트에서 다른 것은 매개변수(가중치와 임계값)의 값뿐임

2.3 퍼셉트론 구현하기

임계값을 -b로 치환하여 넘겨주면 위와 같은 식이 됨
b : 편향
편향 : 뉴련이 얼마나 쉽게 활성화(결과로 1을 출력) 하느냐를 조절하는 매개변수
ex) b = -20.0 => 입력 신호와 가중치를 곱한 값들의 합이 20을 넘지 않으면 뉴런은 활성화하지 않음

2.4 퍼셉트론의 한계

XOR 게이트

OR 게이트는 (x1, x2)가 (0, 0)일 때는 0을 출력하고 나머지는 1을 출력함
=> 직선으로 표현할 수 있음

XOR 게이트는 직선으로 표현할 수 없음 => 퍼셉트론은 직선 하나로 나눈 영역만 표현할 수 있음(퍼셉트론의 한계)

비선형 영역 : 곡선의 영역
선형 영역 : 직선의 영역

2.5 다층 퍼셉트론이 출동한다면

다층 퍼셉트론 : 층이 여러 개인 퍼셉트론

AND, OR, XNAD로 XOR 구현 가능

다층 구조의 네트워크
위의 그림은 2층 퍼셉트론임

2.6 NAND에서 컴퓨터까지

다층 퍼셉트론은 이론상 컴퓨터를 표현할 수 있음