행렬과 벡터의 차이 -벡터: 1차원 배열 -행렬: 벡터들의 모음
행렬 미분의 개념 4x2 행렬을 3차원 벡터로 미분하면 4x2x3 행렬이 나옴.
1) 행렬에 대한 벡터의 미분
2) 행렬에 대한 행렬의 미분
역전파: 신경망에서 gradient를 구하는 forward 과정을 역으로 계산하는 것
헤시안: 이차 편미분의 결과값의 합. > 곡률을 의미