[Paper Review] Fundamentals in Deep Learning
1.[2015 ICML] Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift
Author : Sergey Ioffe, Christian SzegedyConference : ICML 2015(International Conference on Machine Learning)
2023년 9월 17일
2.BatchNorm vs. LayerNorm vs. RMSNorm
Zhu, Jiachen, et al. "Transformers without normalization." Proceedings of the Computer Vision and Pattern Recognition Conference. 2025. 위 논문을 읽으면서, no
2025년 11월 28일
3.[2025 CVPR] Transformers without Normalization
(background)modern neural networks에서, Normalization layers는 어디서든 사용되고(unbiquitous) 필수적으로 고려되어 왔다.(이 논문의 핵심)이 연구에서는 매우 간단한 technique을 사용하여, Transformer
2025년 11월 26일