# Back Propagation

dayoungss

신경망의 입력층부터 출력층까지 순서대로 변수들을 계산하고 저장하는 것.신경망의 출력층부터 입력층까지 <span style="background-color : 📌 역전파 과정1) 주어진 입력값에 상관 없이, 임의의 초기 가중치 w를 준 뒤 은닉층을 거쳐 결과를 계

daybreak13411

지난 포스트에서 NN에서 w값을 스스로 조절하는 방법을 찾았다고 했다.w값을 조절하는 일련의 과정을 "학습"이라고 한다.비유를 좀 하자면 Training Data가 교과서, Learning Algorithm이 암기하는 학원이라고 생각하면 좋다.암기한 Training D

seokhyun

신경망에서, 출력함수를 적절히 선택하면 각 노드의 가중치에 대한 출력값의 미분을 해석적으로 구할 수 있는데, 보통 그 입력, 출력에 모두 의존하게 된다. 따라서 오류함수의 기울기를 구할 때, 맨 마지막단부터 차례대로 거슬러 올라가면서 모든 은닉유닛의 매개변수에 대한 오

jailies

부스트코스 강의 인공지능(AI) 기초 다지기 중 '딥러닝 학습방법 이해하기'를 정리한 내용이다. 비선형모델인 신경망(neural network) Softmax 연산 softmax 함수는 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산 분류 문제를 풀

jailies

가중치나 바이어스가 변할 때 최종오차가 얼마나 변하는지를 나타내는 편미분을, 체인룰(chain rule)을 이용하여 위 식의 1,2,3 처럼 국소(local) 미분으로 분리한 후, 국소 미분을 수학 공식으로 나타내서 계산하는 방법오차역전파는 수치미분을 사용하지 않고 행

beomsoo0

https://blog.kakaocdn.net/dn/dh1tuR/btqWzsGXOM1/JZOPsIG9KgfsphZpuwcaS0/img.pngMNIST(Modified National Institute of Standards and Technology datab

beomsoo0

딥러닝의 꽃이라고 불리는 Back-propagation에 대해 알아보도록 하겠습니다.앞서 784x100x10 딥러닝 아키택쳐에서 60,000개의 MNIST를 학습을 진행해보니 시간이 제 컴퓨터 기준 반나절정도 소요되었습니다. 이유는 수치미분을 통하여 가중치/바이어스 업

skkumin

심층신경망에서는 신경망의 크기가 너무 커지고, 입력이나 출력의 개수가 많아지면서 graient descent의 방법은 사실상 불가능하다. 따라서 Neural Network에서는 출력층부터 역순으로 Gradient 를 전달하여 전체 Layer의 가중치를 Update하는

songhaaa

사람의 뇌는 수많은 뉴런으로 구성되어 있다. 하나의 뉴런들은 간단한 일들을 담당하지만 여러개의 뉴런이 모여 우리는 복잡한 일을 수행한다. 딥러닝은 뉴런에서 아이디어를 받아 시작되었다. 뉴런의 일을 생각해서 만든 식은 다음과 같다.

iissaacc

많은 교재와 강의에서 back prop을 정리할 때 node차원에서만 바라보는 게 아쉬웠다. 그러면 scratch로 신경망을 구현할 때 back prop에서 막히고 만다. 나는 동적인 신경망을 만들고 싶었다. 그래서 조금은 더 깊게 파봤다.

uonmf97

딥러닝의 역사 Back Propagation 문제점 Back Propagation은 몇개의 Layer로 이루어진 인공신경망 모델에서는 효과가 있으나, 다양한 Layer로 되어있는 모델에서는 효과를 발휘할 수 없었음. 번외 : CIFAR 돈이 되지 않더라도 금전적으