Batch란?
- sample의 하위 단위
- batch 단위로 iteration이 실행되고, 다음 parameter 값이 update됨
ex) sample =3,200 개, batch size=32 인경우
-> 32개마다 iteration을 통하여 output value 이 예측되고, parameter update
-> parameter는 100번 update됨.
1) dataset을 minibatch(묶음)으로 나눔
2) minibatch 평균 , 분산 값을 구하고
3) 평균 0, 분산 1 인 분포로 normalize
4) 를 통해 scaling& shift (학습 파라미터)
https://learnopencv.com/batch-normalization-in-deep-networks/