오차 역전파

오차 역전파(Backpropagation)?

• 오차를 역방향으로 전파해나가며 출력부와
  가까운 층의 weight들 부터 순차적으로 weight를
  업데이트해 나가는 방식

• Weight를 업데이트해나가는 방식은 경사하강법을
  각 층별로 적용한다고 이해하면 된다

• 신경망의 가중치(weights)를 조정하여 모델이 원하는 출력을
  생성하도록 학습하는 데 사용된다

• 인공 신경망의 가중치를 업데이트하여 모델이 주어진 작업을 수행하는 데 필요한 최적의 매개 변수를 학습하도록 도운다

오차 역전파의 단계

순전파(Forwod pass)

• 학습 데이터를 신경망에 입력하고,
  입력 데이터는 순방향으로 전파된다

• 입력 레이어에서 시작하여 은닉 레이어와 출력 레이어로
  이동하면서 각 레이어에서 가중치를 곱하고 활성화 함수를
  통과시켜 예측 값을 생성한다

• 예측 값과 실제 정답을 비교하여 오차(에러)를 계산한다

역전파(Backward Pass)

• 오차 역전파는 역방향으로 오차를 전파하며
  각 레이어의 가중치를 업데이트 한다

• 역전파는 경사 하강법(Gradient Descent)을 사용하여 가중치를
  조정하는데, 이때 오차를 가중치로 미분하여 기울기를 계산한다

• 출력 레이어부터 시작하여 은닉 레이어까지 거꾸로 진행하면서 각 레이어의 가중치와 편향(bias)을 업데이트 한다

가중치 업데이트

• 계산된 기울기를 사용하여 가중치와 편향을 업데이트 한다

  경사 하강법 또는 그 변형인 다양한 최적화 알고리즘을
  사용 할 수 있다

• 이러한 업데이트는 오차를 최소화하는 방향으로 가중치를
  조정하며, 모델이 더 나은 예측을 수행하도록 한다

반복(Iteration)

• 오차 옂건파 단계를 여러 번 반복하여
  모델이 학습 데이터에 대한 오차를 최소화하도록 한다

• 일반적으로 학습 데이터를 여러 번 반복하며
  모델이 수렴할 때까지 계속하여 학습한다(Epoch)