역전파

순전파와 역전파

Forward & backward Propagation
두가지의 전달 방식이 존재한다.
순전파는 계산을 왼쪽에서 오른쪽으로 진행하는 단계
역전파는 반대인 오른쪽에서 왼쪽으로 계산이 진행하는 단계를 지칭한다.

국소적 계산?

전파(propagation)을 공부하다 보면 국소적 계산이라는 키워드가 나온다.
국소적이란, 전체 가운데 어느 한 곳에 관계되는 것을 말한다.
이는 '자신과 직접 관계된 작은 범위' 라는 의미이다.
결국, 전체에서 어떤 일이 벌어지는지와 관계없이 자신과 관계된 정보만으로 다음 결과를 출력할 수 있다는 것이다.

연쇄법칙

chain Rule
연쇄법칙은 합성 함수와 밀접한 관계가 있다.
함성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다
연쇄 법칙을 한줄로 설명하면 위와 같다.

덧셈의 역전파의 경우 미분값이 1 이기 때문에 역전파로 전달된 값을 그대로 전달한다.