오차 역전파 딥러닝의 꽃.. 인 만큼 어렵다.
저번 학기 학교 수업에서 역전파에 대해 공부했다. 저번에 정말 이것 때매 많은 고생을 했다.
평소에 관습적으로 해왔던 미분은 길게 늘어진 함수를 미분해왔다. 하지만 역전파 에서는 그래프 노드를 그리고 미분을 계산한다. 그래프 노드로 미분을 표현 하는 것은 너무나도 생소했다. 그리고 기존의 스칼라 미분이 아니라 벡터 그리고 행렬로 미분을 하게되니 보통 만만한게 아니었다.
-
하지만 이때 열심히 노드를 그려보고 하나 하나씩 미분을 연습했다.
-
그래서 오늘 들었던 수업은 자신감이 있었다
-
그래도 다 아는 내용인줄 알았는데 추상적이었던 개념들이 내 머리에 하나씩 하나씩 안착했다.
-
Forward 에서 Lose 값을 만들기위해 우리는 한스텝 한스텝 밟아간다. 그리고 모든 노드의
가중치들과 숫자들은 Lose 값에 영향을 미친다. -
역전파에서 도 마찬 가지이다. 모든 층들이 한층 한층 영향을 미친다.
-
갑자기 드는 생각은 우리가 하루하루 선택 하는 날이온다. 오늘의 선택은 또 내일에 영향을 미친다.
-
그 내일은 또 그다음
-
지금 이순간은 그냥 만들어 진게 아니다.
-
우리는 하루 하루 층을 만들어 살아간다.
-
오늘 하루를 잘 못살았다고 너무 좌절 하지도 말자.
내일의 층을 잘 쌓으면 되니까 -
지금 있는 곳이 만족되지 않아 후회하지 말자.
-
다음 층으로 계속 계속 앞으로 나아가다 보면 좋은 결과가 있을 것이다.
-
나는 오늘 어떤 층을 쌓았을까
-
앞으로 나아가고 있는 느낌이면 좋은 층을 쌓은것 같다.
-
내일도 화이팅!
Fail Fast learn Faster