모두의 딥러닝 8장 back propagation

YJCho·2024년 1월 15일

모두의 딥러닝

목록 보기
4/8
post-thumbnail

신경망 내부 가중치는 오차 역전파 방법을 이용해서 수정한다
오차 역전파는 경사 하강법의 확장 버전으로 보면 된다

📌오차 역전파?

이전에 가중치(ww)를 경사 하강법을 통해 구했고, 같은 방법으로 가중치를 조정한다. 단지 은닉층(hidden layer)이 생기면서 복잡해질 뿐이다

  1. 임의의 초기 가중치(WW)를 준 뒤 결과(youty_{out})를 계산
  2. 계산 결과와 원하는 값 사이의 오차 구하기
  3. 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트
  4. 위 과정을 오차가 줄어들지 않을 때까지 반복
W(t+1)=Wt오차WW(t+1) \, = Wt \,-\frac{\partial 오차}{\partial W}
새가중치=현가중치가중치에대한기울기새 가중치 = 현 가중치 - 현\,가중치에\,대한\,기울기

📌신경망 구현 과정

profile
호로록

0개의 댓글