Third is Batch Normalization (Ioffe & Szegedy, 2015) which stabilizes learning by normalizing the
input to each unit to have zero mean and unit variance. This helps deal with training problems that
arise due to poor initialization and helps gradient flow in deeper models. This proved critical to get
deep generators to begin learning, preventing the generator from collapsing all samples to a single
point which is a common failure mode observed in GANs. Directly applying batchnorm to all layers
however, resulted in sample oscillation and model instability. This was avoided by not applying
batchnorm to the generator output layer and the discriminator input layer.
DCGAN 논문에서 발췌
DCGAN에서는 generator output layer and the discriminator input layer에서만 적용하지 않았다고 한다. 이유는 샘플 변동과 모델 불안정성을 야기했기 때문이다.
불안정성이 나타난 이유가 뭘까? generator의 최종 결과물을 discriminator가 받게 될 것이고, 그렇기에 왜곡이나 변형을 가하지 않은 결과를 discriminator에 전달함으로서 데이터의 분포를 더욱 잘 학습할 수 있도록 하는 것이 아닌가라는 생각,,
관련 정보를 찾아봐도 명확히 설명하는 게시물이 없다.
- DCGAN에서는 BN이 좋았지만 모든 GAN 모델에서 BN 적용이 좋은 것은 아닌 것 같음
