신경망의 학습 방법

역전파에 대해서 알기 전에 간단하게 신경망이 어떻게 학습하는가를 살펴보려고 한다.

1. 데이터가 입력되고, 신경망의 각 층에서 가중치 및 활성화 함수 연산을 반복적으로 수행한다.
2. 출력층에서 계산된 값을 출력한다.
3. 손실 함수를 사용해 예측값과 실제값의 차이를 계산한다.
4. 경사하강법과 역전파를 통해 각 가중치를 갱신한다.

신경망은 위의 과정(=Iteration, 이터레이션)을 반복하면서 학습하게 된다. 이터레이션의 1,2번 과정은 순전파라고 할 수 있고, 3번은 손실 계산, 4번은 역전파로 나눌 수 있다.

역전파 (Backward Propagation)

위의 과정에서 역전파에 대해서 조금 더 쉽게 이해하려고 예시를 한번 만들어봤다.

우선 공부해서 모의고사를 치르고 난 후 이에 대해 채점을 한다.
그리고 틀린 문제를 위주로 오답노트를 작성해서 왜 틀렸는지, 어느 것을 잘못 알고 있었는지에 대해서 정리를 한다.
오답 노트의 정리가 끝난 후에는 틀린 문제를 다시 한번 풀어보면서 개념 정리가 잘 됐는지 확인한다. 그리고 다시 한번 모의고사를 보고 오답의 수가 줄었는지 확인해본다.

이러한 과정들을 역전파의 과정이라고 이해했다.

손실 함수

손실함수는 순전파를 통해서 예측한 값과 실제 값이 얼마나 유사한지 평가하는 함수로 모델을 최적화시키는 것이 바로 손실 함수의 목적이라고 할 수 있다.

binary crossentropy

~ 추가 예정 ~

categorical crossentropy

~ 추가 예정 ~

sparse categorical crossentropy

~ 추가 예정 ~

mean squared error

~ 추가 예정 ~