확률적 경사하강법(Stochastic Gradient Descent)은 추출된 데이터 한 개에 대해서 gradient를 계산하고, 경사하강법을 적용하는 방법을 말한다.
전체 데이터를 사용하는 것이 아니라, 랜덤하게 추출한 일부 데이터를 사용하기 때문에 학습 중간 과정에서 결과의 진폭이 크고 불안정하며, 속도가 매우 빠르다. 또한, 데이터 하나씩 처리하기 때문에 오차율이 크고 GPU의 성능을 모두 활용하지 못하는 단점을 가진다.
이러한 단점들을 보완하기 위해 나온 방법들이 Mini batch를 이용한 방법이며 확률적 경사 하강법의 노이즈를 줄이면서도 전체 배치보다 더 효율적이다.
강승구