들어가기 앞서, 신경망 구조

신경망의 기본 구조는 input, hidden , output layer 이라고 할 수 있다.
activation fuinction까지 적용한 값을 출력한다는 점도 기억해야한다.

이러한 신경망의 동작원리는

• 데이터 전처리 및 입력
• 모델 제작 및 가중치 초기화
• 모델에 데이터를 넣고 출력값 얻기
• 출력값과 레이블을 비교 후 loss를 계산하기
• loss를 반영하여 가중치를 업데이트한다. ⬅️ 이 부분에서 역전파와 경사하강법이 사용된다.

신경망의 학습(training)은 적절한 가중치를 찾아가는 과정이다.
그런데 신경망은 스스로 적절한 가중치를 찾을 수 있는데 그 원리가 경사하강법(gradient descent, GD)와 역전파(Backpropagation, BP)이다. 역전파의 알고리즘을 통해 경사하강법에 필요한 기울기(gradient)를 구하게 된다.