CUDA 11.1Pytorch : 1.8.1 CU11.1GPU : A10OS : Linux 18.04Model : AlexNet, ResNet20Data : CIFAR10Training Method : DP(DataParallel), DDP(DataDistributed
AMP는 Automatic Mixed Precision package의 약자로 모델의 single precision(FP32)를 두 종류의 precision(FP16, FP32)으로 학습하게 하여 빠르게 학습을 하게해주는 패키지이다.모델의 Foward 연산은 서로 다른
💡 DataParallel(DP)은 Pytorch 에서 제공하는 가장 기본적인 방법이지만, GPU 메모리 불균형이 발생하는 문제점이 있음. Custom DataParallel은 GPU 메모리 불균형 문제를 어느 정도 해소해주지만, GPU util이 낮다는 문제가 여