Pytorch Section 5

* 강사님의 자료는 저작권이 있기 때문에 배운 내용을 최대한 간단하게 정리하는 수준으로 작성하였습니다.

ANN & 퍼셉트론

[ 퍼셉트론 이슈 ]
1. 조건을 만족하는 선이 여러개가 있어 최적의 구분선을 결정하기 어려움 (최초 이슈)
$\to$ 아달라인 (Adaline)

• 경사하강법을 도입하여 가중치를 업데이트시켜 퍼셉트론 이슈 보완
• 최적의 구분선 결정할 수 있도록 도와줌

2. 직선 형태의 구분선으로 XOR 문제를 풀 수 없음
   $\to$ NAND, OR, AND 게이트를 조합하여 XOR 게이트 만듬
   $\to$ 다층 퍼셉트론

• 은닉층을 만들어 XOR 문제 해결
• 핵심 $\to$ 복잡한 문제를 여러 개의 은닉층을 두어 해결!

• 은닉층이 2개 이상인 신경망 $\to$ DNN
• 레이어가 하나 있는 형태는 $\to$ ANN

은닉층이 어떤 역할을 그동안 이해를 못하고 있었지만, 이번 학습을 통해 이해!

activation function과 non-linear function

• 선형적인 구분선으로 복잡한 문제 해결 어려움
• 때문에, 다층 퍼셉트론에서 non-linear 활성 함수를 적용하여 non-linear 문제를 해결하도록 함
  • 대표적인 함수로 sigmoid 함수

(정리하면) 입력층과 출력층 사이에 여러 개의 은닉층을 두어 복잡한 문제를 해결할 수 있을 것이고, 여기에 활성 함수로 non-linear function을 넣어주면 non-linear한 문제를 해결할 수 있을 것이다..

back propagation (오차역전파)

• 개념 1 : Gradient Descent를 적용하여 각 가중치 값을 업데이트
• 개념 2 : 다층 퍼셉트론의 상당한 계산량을 Chain Rule을 이용하여 합리적으로 줄임

구조
입력층 - 여러 개의 은닉층 (활성화 함수 포함 or X) - 출력층

* written on June 28th