Training Optimization
1.DP / DDP / FSDP 간단 비교
멀티 GPU 병렬 학습, 뭐 이리 종류가 많아? DP, DDP, FSDP 살펴보기
2024년 8월 29일
2.GPU Util 높이기
VRAM은 어찌 채우겠는데.. GPU utilization은 어떻게 높이지?
2024년 8월 29일
3.[QLoRA] QLoRA: Efficient Finetuning of Quantized LLMs
야! 너도 챗지피티 만들 수 있어! QLoRA 논문 리뷰
2023년 12월 27일