계산의 복잡도를 줄이기 위해
오차역전파
오른쪽 -> 왼쪽
계산그래프
왼쪽 => 오른쪽으로 미분 값 계산
국소적 계산으로도 가능
하류로 전달, 전달. ...
복잡한 수식 미분은 어렵나, 덧셈/곱셈, 몇가지 함수에 대한 역전파라 난이도가 괜찮다.
덧셈 노드: 그대로 전달한다.
곱셈 노드: 순전파에서 받은 입력값 이용
다른 노드에 들어온 입력값을 곱해서 전달함.
곱셈 계층, 덧셈 계층을 파이썬으로 구현
오차 역전파를 이용해 학습
=> 몇가지 계층을 더 배워야 함.
활성화 함수
덧셈, 곱셈 .. 더불어 활성화함수 사용
하나의 값에 대한 역전파를 배움/
행렬을 역전파할때 어떻게 계산하는지 오차역전법까지!
활성화 함수 => 특정 입력값을 가지고 몇 가지 수준까지 하는지?
ReLU, Softmax, Sigmoid
0보다 작으면 0을 출력, 0보다 크면 x를 그대로
배웠던 내용을 역전파로~
import numpy as np
x = np.array([[1.0, -0.5],[-2.0, 3.0]])
print(x)
mask = (x <= 0)
print(mask)
모든 건 zero 부터, 차근차근 헛둘헛둘