인공 신경망(Artifical Neural Network)
인간의 뇌는 약 1000억 개의 뉴런으로 이루어져 있다. 뉴런과 뉴런은 새로운 연결을 만들기도 하며, 필요에 따라 위치를 바꾸기도 한다. 신경망은 이런 뉴런에서 아이디어를 얻었다. 여러 층의 퍼셉트론을 서로 연결시키고 조합하여 입력 값에 대한 판단을 하게 만드는 것이 바로 인공 신경망의 구조다.
인공 신경망을 이루는 가장 중요한 기본 단위는 퍼셉트론(perceptron)이다
📌가중치, 가중합, 바이어스, 활성화 함수
weight, weighted sum, bias, activation function
딥러닝답게 용어를 바꾸어서 생각하자!
가중합(weighted sum)
가중합의 결과를 놓고 1 또는 0을 출력해서 다음으로 보내는데,
이 때 1 또는 0을 판단하는 함수는 활성화 함수(activation function)이다.
시그모이드 함수가 대표적인 활성화 함수이다.
📌퍼셉트론의 한계
사람의 뇌엔 뉴런이 약 1000억 개가 존재한다. 뉴런이 하나라면 아무것도 할 수 없다. 퍼셉트론도 마찬가지다. 퍼셉트론 하나로는 아무것도 할 수 없다.
이 그림에서 '직선'의 한쪽 편에만 검은점이, 다른 한쪽에는 흰점만 있게 선을 그릴 수 있을까? 불가능하다. 머신러닝은 결국 선이나 2차원 평면을 그린느 작업이다. 이와 같은 개념인 퍼셉트론 역시 선을 긋는 작업이지만, 이 예시처럼 선을 그어도 해결할 수 없는 상황이 있다.
📌XOR 문제
XOR(exclusive OR)문제
XOR문제는 논리 회로에 등장하는 개념으로 둘 중 하나만 1일 때 1이 출력된다.
AND, OR, XOR 진리표
| AND 결과값 | OR 결과값 | XOR 결과값 | ||
|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 |
| 0 | 1 | 0 | 1 | 1 |
| 1 | 0 | 0 | 1 | 1 |
| 1 | 1 | 1 | 1 | 0 |
이 표를 각각 그래프로 좌표 평면에 나타내보면 다음과 같다
(흰점 : 결과값=0, 검은점 : 결과값=1)
AND와 OR게이트는 직선을 그어 결과값이 1인 값(검은점)을 구별 가능하지만, XOR 게이트는 선을 그어 구분할 수 없다.
위의 내용은 1969년 인공지능 분야의 선구자였던 MIT Marvin Minsky 교수가 발표한 라는 논문에 나온 내용이다.
뉴런 → 신경망 → 지능
퍼셉트론 → 인공 신경망 → 인공지능
사람들이 생각했던 위의 도식은 쉽지 않았었지만, 10여 년이 지난 후 다층 퍼셉트론(multilayer perceptron)에 의해 문제가 해결된다.
