https://developmentdiary.tistory.com/560
batch size
-
전체 트레이닝 데이터 셋을 여러 작은 그룹을 나누었을 때 batch size는 하나의 소그룹에 속하는 데이터 수를 의미
-
트레이닝 데이터 통쨰로 신경망에 넣으면 비효율적, 학습시간 오래 걸림
epoch
- 전체 트레이닝 셋이 신경망을 통과한 횟수
- ex) 1-epoch
- 전체 트레이닝 셋이 하나의 신경망에 적용되어 순전파와 역전파를 통해 신경망을 한번 통과했다는 것을 의미
iteration
- 1-epoch를 마치는데 필요한 미니배치 갯수를 의미
- 파라미터 업데이트 횟수이자 미니배치 갯수
- 예를 들어, 700개의 데이터를 100개씩 7개의 미니배치로 나누었을때, 1-epoch를 위해서는 7-iteration이 필요하며 7번의 파라미터 업데이트가 진행됩니다.