5-1 일변량 함수의 미분
- 테일러 급수
5-2 편미분과 그라디언트
5-3 Jacobian
5-4 행렬의 미분
행렬과 벡터의 차이
-벡터: 1차원 배열
-행렬: 벡터들의 모음
행렬 미분의 개념
4x2 행렬을 3차원 벡터로 미분하면 4x2x3 행렬이 나옴.
1) 행렬에 대한 벡터의 미분
2) 행렬에 대한 행렬의 미분
5-5 미분을 하기 위한 유용한 공식들
5-6 역전파와 자동미분
역전파: 신경망에서 gradient를 구하는 forward 과정을 역으로 계산하는 것
5-7 고차미분
헤시안: 이차 편미분의 결과값의 합. > 곡률을 의미
