Deep Learning #04 Neural Network

1. Perceptron

생물학적 뉴런을 모방한 알고리즘으로, 인공신경망의 기본 단위
입력 데이터를 받아 가중치와 계산하고, 그 결과를 활성화 함수로 변환하여 출력
(Neuron은 신경 세포의 가장 작은 기본 단위)

• input : 외부에서 입력되는 값
• Weights : 각 입력에 대한 중요도 (가중치)
• Bias : 모델 고유 편중 값 (편향)
• Activation Function : 노드의 출력값을 결정하는 함수
• Output : 노드의 최종 출력

---

Example

---

Perceptron의 한계점

단일 퍼셉트론은 선형 분리 문제만 해결 가능
→ XOR gate 문제 발생

2. MLP (Multi Layer Perceptron)

MLP

입력층과 하나 이상의 은닉층(Hidden Layer)과 출력층으로 구성된 신경망

• 이러한 구조를 순전파 (Feedforward) 라고도 부름
• FC layer (Fully Connected Layer)
  : Hidden layer는 각 뉴런이 이전 층의 모든 뉴런과 연결되어 있음

DNN

2개 이상의 Hidden Layer를 가진 인공 신경망
(순전파 네트워크(FeedForward Network)라고도 부름)

신경망 표기 방법

• Node : 뉴런으로 각 층의 한 유닛
• Weight : 이전 층의 노드에서 현재 노드로 향하는 연결 강도
• Bias : 현재 노드의 편향 정도
• Activation Function : 노드의 출력을 결정

사진 출처

Example. DNN Representation

• 신경망의 가중치, 편향, 노드에 대한 표기법에 따라 기호 완성하기
• $(a_1)^2$ 의 수식을 완성

3. Vectorization

4. Non-linear Activation

linear activation function의 문제점

수많은 layer로 구성하더라고, 일반적인 선형함수와 동일해짐
(hidden layer의 의미가 없어짐)

→ 그래서 Non-Linear activation function 사용

Non-linear activation function 종류

5. DNN Example