
딥러닝에서 우리가 흔히 부르는 인공 신경망(ANN, Artificial Neural Network)은 가장 작은 단위부터 출발한다.
그 단위가 바로 인공 신경(Artificial Neuron)이다.
인공 신경은 사람 뇌 속의 뉴런(Neuron)을 모방한 구조이며, 노드(Node)와 이를 잇는 엣지(Edge, connection)로 이루어진다.
흐름은 다음과 같다.
즉, 인공 신경은 곱하기 → 더하기 → 비선형 변환을 거쳐 출력을 내는 단순한 함수다.
활성화 함수에는 여러 종류가 있지만, 가장 단순한 형태는 계단 함수(Unit Step Function)다.
입력이 어떤 기준을 넘으면 1, 아니면 0을 내는 방식이다.
인공 신경 하나만으로는 복잡한 문제를 풀 수 없다.
그래서 여러 개의 인공 신경을 층층이 쌓아 올려 만든 구조가 바로 인공 신경망이다.
우리가 흔히 딥러닝에서 말하는 "네트워크"는 바로 이 인공 신경망의 구조를 뜻한다.
그렇다면 이렇게 여러 층을 쌓은 인공 신경망은 어떤 역할을 할까?
바로 입력을 받아 출력을 내는 하나의 거대한 함수라고 볼 수 있다.
학습 과정은 이 함수가 올바른 출력을 내도록 웨이트와 바이어스를 조정하는 과정이다.
즉, 많은 데이터를 넣어주고
그 결과, 새로운 데이터가 들어와도 적절한 출력을 낼 수 있게 된다.
결국 AI는 입력과 출력을 매핑(mapping)하는 함수를 학습한다고 말할 수 있다.
가장 단순한 1차 함수 y = ax + b도 인공 신경망으로 표현할 수 있다.
x a b y 즉, 우리가 수학 시간에 배운 1차 함수조차도 인공 신경의 구조로 해석할 수 있다.
이런 단순한 블록을 쌓고 확장해 나간 것이 오늘날의 인공 신경망이다.