[딥러닝수학] 자동미분 간단 예제

book title : 머신러닝, 딥러닝에 필요한 기초 수학 with 파이썬
pages : 151 ~ 162
key concepts :

• 어떠한 함수라도 합성함수로 만들고, 그 단위함수들을 쪼개서 각각의 미분법에 대한 미분계수를 구하고 그것들에 연쇄법칙을 이용하면 쉽게 전체 함수의 미분계수를 구할 수 있다.
• 이때 back propagation(역전파) 방법을 이용하면 순전파보다 더 효율적으로 계산할 수 있다.
• 함수가 1개 짜리 간단한 함수여도, 뒤에 항등함수를 넣어서 합성함수로 만들 수 있다
• 이렇게 만든 항등함수의 미분계수는 1이기에 torch.autograd.grad 같은 자동미분 코드에서도 기본값으로 1을 넣고 있다.
• 상류층 미분계수(upstream derivative) : 계산 그래프 위쪽(출력값쪽)에서 오는 미분계수

Questions:
1) 고등학교 미분 개념서를 사서 일반적인 미분법 공식을 습득해야 할 듯 하다.