Epoch, Batch Size, Iteration

• Epoch은 주어진 데이터셋을 기반으로 한 학습 과정에서, 모델이 전체 데이터셋을 한 번 전부 사용하여 학습을 완료한 단계를 의미
• 즉, 모든 학습 데이터가 네트워크를 한 번 통과하는 과정을 하나의 epoch

Epoch, Batch Size, Iteration의 관계

• Epoch: 전체 데이터셋이 네트워크를 한 번 통과하여 모든 배치가 처리되는 과정입니다. 즉, 모든 iteration이 완료되면 하나의 epoch가 완료됩니다.
• Iteration: 전체 데이터셋을 한 번 학습하는 데 필요한 iteration의 수 = (전체 데이터셋 크기) / batch
• Batch Size: 한 번의 학습(iteration)에서 네트워크가 처리하는 데이터의 수입니다. 전체 데이터셋이 너무 클 경우, 메모리에 한 번에 적재할 수 없으므로, 데이터를 작은 배치(batch)로 나누어 순차적으로 학습합니다.