[Accelerate] 분산학습 용 여러가지 함수들

훈련을 할 때 Huggingface에서 나온 Accelerate 라이브러리를 너무 잘 사용하고 있다. 구현도 간단하고 공식 홈페이지에서 설명도 잘 해주고 있어 따로 적을 것도 크게 없지만, Pytorch의 DDP, DP와 비교해보면 좋을 것 같아 시간이 날 때마다 분산학습을 위해 accelerate에서 불러와야 되는 함수들을 정리해보고자 한다.

1. gather(), gather_for_metrics()
역전파한 배치들을 모아줄 때 쓰는 함수. 그러나 그럴려면 각 프로세스의 텐서 사이즈가 같아야 되므로 dynamic padding을 썼다면 이 전에 pad_accross_processes() 넣어주자.