[딥러닝] 경사하강법 구현부터 학습까지

소개 최근 'SKT FLY AI'에서 공부하며 순전파와 역전파에 대해 강의를 들으며 갑자기 '순전파 역전파를 전개해본적이 있던가?' 라는 생각이 들어 계산해보려 하니 간단한 레이어 조차 계산하지 못하였습니다. 그래서 경사하강법을 이해하고 순전파와 역전파를 구현하여 학습까지 진행하는 과정을 기록하고자 하고, 누군가에게 도움이 됐으면 하여 글을 작성해봅니다...

소개 이전 글에서는 전체 함수와 그에 대한 미분 함수를 미리 정의 하여 각 가중치에 대한 함수의 기울기를 구하여 경사하강법을 적용하였습니다. 하지만 실제 함수는 생각보다 복잡하기 때문에 미분함수를 미리 정의하기는 어렵습니다. 이번 글에서는 위 문제점을 해결해 나아가는 과정을 설명하고 이후 순전파와 역전파에 대한 개념 설명 후 간단한 하도록 하겠습니다...