batch size, epoch, iteration
0. 사전적 의미
- batch: (일괄적으로 처리되는)집단, 무리/한 회분(한 번에 만들어 내는 음식기계 등의 양)
- epoch: (중요한 사건·변화들이 일어난) 시대(=era)
- iteration: (계산·컴푸터 처리 절차의) 반복
1. batch size
- 전체 트레이닝 데이터 셋(train data)을 여러 작은 그룹으로 나누었을 때 하나의 소그룹에 속하는 데이터 수
- 전체 train data를 작게 나누는 이유? train data를 통째로 신경망에 넣으면 비효율적 리소스 사용으로 학습 시간이 오래 걸리기 때문
2. epoch
- 딥러닝에서 epoch는 전체 train data가 신경망을 통과한 횟수를 의미
- 1 epoch는 전체 train data가 하나의 신경망에 적용되어 순전파와 역전파를 통해 신경망을 한 번 통과했다는 것
3. iteration
- 1 epoch를 마치는데 필요한 미니배치 갯수
- 즉, 1 epoch를 마치는데 필요한 파라미터 업데이트 횟수이기도 함
- 각 '미니배치' 마다 파라미터 업데이터가 한번씩 진행되므로 iteration은 파라미터 업데이터 횟수이자 미니배치의 갯수
