오늘날의 딥러닝 모델들의 천문학적인 파라미터 수를 보면, 결론적으로 연구 결과는 학습 시 필요한 컴퓨팅 파워와 관련이 있을 수 밖에 없다는 생각이 들었다. 그래서 "연구는 장비빨..."이라는 멘트가 강렬히 머리에 박혀있다. 수업 중에 배운 GPU에 대해서 알아보던 중 궁금한 점이 생겨서 좀 더 찾아보면서 Multi-GPU에 대핸 찾아본 점을 기록해보려고 한다.

📖공부내용 간단 정리

CPU vs GPU

모델 병렬화의 사례

GIL?

DDP (Distributed Data Parallel)?

pin_memory = True 의미?

OOM (Out Of Memory) 해결 방식

computation graph 생성(메모리 잠식)

BatchSize⬇️

GPU Cleaning

torch.no_grad() 구문을 통한 backward 메모리 자유

🔖 Reference