📌 배치 사이즈(batch size), 에포크(epoch), 반복(iteration)의 차이는?

배치는 메모리에서 CPU에 올릴 수 있는 최대 데이터(이미지) 양
에포크는 모델 훈련 반복 횟수

if 배치 사이즈가 너무 크면 아래의 문제가 발생
1. 학습 속도가 느려짐
2. 메모리 부족 문제
-> 배치 사이즈를 줄여서 많은 배치로 나눠 훈련시키는게 좋음

if 배치 사이즈가 너무 작으면 아래의 문제가 발생
1. 적은 샘플로 가중치가 자주 업데이트 되어 불안정하게 훈련됨

그래서 배치 사이즈를 바꿔가면서 효율적으로 훈련되는 경우를 찾아야함.

1. 사전적 의미

batch

(일괄적으로 처리되는) 집단, 무리
한 회분(한 번에 만들어 내는 음식기계 등의 양)
(일괄 처리를 위해) 함께 묶다

epoch

(중요한 사건·변화들이 일어난) 시대 (=era)

iteration

(계산·컴퓨터 처리 절차의) 반복

2. batch size

전체 트레이닝 데이터 셋을 여러 작은 그룹을 나누었을 때 batch size는 하나의 소그룹에 속하는 데이터 수를 의미함.

전체 트레이닝 셋을 작게 나누는 이유는 트레이닝 데이터를 통째로 신경망에 넣으면 비효율적인 리소스 사용으로 학습 시간이 오래 걸리기 때문

3. epoch

딥러닝에서 epoch는 전체 트레이닝 셋이 신경망을 통과한 횟수 의미함.

예를 들어, 1-epoch는 전체 트레이닝 셋이 하나의 신경망에 적용되어 순전파와 역전파를 통해 신경망을 한 번 통과했다는 것을 의미함.

4. iteration

마지막으로 iteration은 1-epoch를 마치는데 필요한 미니배치 갯수를 의미함.

다른 말로, 1-epoch를 마치는데 필요한 파라미터 업데이트 횟수 이기도 함.

각 미니 배치 마다 파라미터 업데이터가 한번씩 진행되므로 iteration은 파라미터 업데이트 횟수이자 미니배치 갯수임

예를 들어, 700개의 데이터를 100개씩 7개의 미니배치로 나누었을때, 1-epoch를 위해서는 7-iteration이 필요하며 7번의 파라미터 업데이트가 진행됨.