accelerator

huggingface accelerate 라이브러리: 모델을 현재 설정된 디바이스 환경(GPU/TPU/다중 GPU 등)에 맞게 준비해주는 메서드

✅ accelerator.prepare_model()
모델을 올바른 디바이스에 올린다.

# 수동으로 처리할 경우
model.to("cuda")
model = torch.nn.DataParallel(model)

# accelerate 사용 시
model = accelerator.prepare_model(model)

✅ fsdp

accelerate config

명령어 실행

• How many processes in total will you use? → GPU 개수
• Do you want to use Fully Sharded Data Parallel (FSDP)? → Yes
  옵션 선택

from accelerate import Accelerator

accelerator = Accelerator()

# FSDP 적용됨
model = accelerator.prepare_model(model)
optimizer = accelerator.prepare_optimizer(optimizer)
train_dataloader = accelerator.prepare_data_loader(train_dataloader)