- 딥러닝에서는 GradientTape 함수 기능을 통해서 계산을 할 때 반대방향 계산식을 알아낼 수 있다.
- 위 코도의 경우 변수값은 3이고, 에 대한 식은 이다.
- 해당 식을 미분해서(보통의 경우 편미분을 많이한다.) y에 대한 x의 미분값을 알아낼 수 있다.
- 위 코드에서 식은 이고, 해당 식에서 loss값을 임의로 의 평균값으로 했다.
여기서 설명이 필요한데, loss값을 미분했을 때 기울기가 나오는데 기울기가 0이 되는 지점을 찾게 된다면 가장 적은 loss값을 찾을 수 있다. 그래서 미분을 통해 기울기를 구한다.
- loss를 w기울기와 b절편을 편미분했을 때 각 값들이 위와 같이 나온다.
- 자동미분에서 제일 중요한 점은 Variable 즉 변수만 테이프에 기록이 가능하다.
상황을 바꿀 수 없다면, 나를 바꾸자