# Back Propagation

7개의 포스트
post-thumbnail

[머신러닝을 위한 파이썬 한 조각] CH.9 오차역전파 (back propagation)

가중치나 바이어스가 변할 때 최종오차가 얼마나 변하는지를 나타내는 편미분을, 체인룰(chain rule)을 이용하여 위 식의 1,2,3 처럼 국소(local) 미분으로 분리한 후, 국소 미분을 수학 공식으로 나타내서 계산하는 방법오차역전파는 수치미분을 사용하지 않고 행

2022년 7월 7일
·
0개의 댓글
·
post-thumbnail

9. [딥러닝] Back-Propagation을 이용한 MNIST Code 구현

https://blog.kakaocdn.net/dn/dh1tuR/btqWzsGXOM1/JZOPsIG9KgfsphZpuwcaS0/img.pngMNIST(Modified National Institute of Standards and Technology datab

2022년 6월 2일
·
0개의 댓글
·
post-thumbnail

8. [딥러닝] Back-propagation(오차역전파)

딥러닝의 꽃이라고 불리는 Back-propagation에 대해 알아보도록 하겠습니다.앞서 784x100x10 딥러닝 아키택쳐에서 60,000개의 MNIST를 학습을 진행해보니 시간이 제 컴퓨터 기준 반나절정도 소요되었습니다. 이유는 수치미분을 통하여 가중치/바이어스 업

2022년 6월 2일
·
0개의 댓글
·
post-thumbnail

Neural Network 오차 역전파(back propagation)

심층신경망에서는 신경망의 크기가 너무 커지고, 입력이나 출력의 개수가 많아지면서 graient descent의 방법은 사실상 불가능하다. 따라서 Neural Network에서는 출력층부터 역순으로 Gradient 를 전달하여 전체 Layer의 가중치를 Update하는

2022년 4월 3일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 시즌 1 ML lec 8

사람의 뇌는 수많은 뉴런으로 구성되어 있다. 하나의 뉴런들은 간단한 일들을 담당하지만 여러개의 뉴런이 모여 우리는 복잡한 일을 수행한다. 딥러닝은 뉴런에서 아이디어를 받아 시작되었다. 뉴런의 일을 생각해서 만든 식은 다음과 같다.

2021년 12월 29일
·
0개의 댓글
·

Back propagation

많은 교재와 강의에서 back prop을 정리할 때 node차원에서만 바라보는 게 아쉬웠다. 그러면 scratch로 신경망을 구현할 때 back prop에서 막히고 만다. 나는 동적인 신경망을 만들고 싶었다. 그래서 조금은 더 깊게 파봤다.

2021년 7월 8일
·
0개의 댓글
·

모두를 위한 딥러닝 시즌 1 :: ML Lec 08-2 : 딥러닝의 기본 개념2: Back-Propagation과 2006/2007 '딥'의 출현

딥러닝의 역사 Back Propagation 문제점 Back Propagation은 몇개의 Layer로 이루어진 인공신경망 모델에서는 효과가 있으나, 다양한 Layer로 되어있는 모델에서는 효과를 발휘할 수 없었음. 번외 : CIFAR 돈이 되지 않더라도 금전적으

2021년 7월 5일
·
0개의 댓글
·