NVIDIA GPUDirect over Infiniband Migration Paths

https://discourse.ubuntu.com/t/nvidia-gpudirect-over-infiniband-migration-paths/44425/1 핵심 내용 정리.

Ubuntu의 NVIDIA GPUDirect over Infiniband Migration Paths 변경 사항

• Ubuntu kernel 6.8 부터 Ubuntu에서 Infiniband를 통한 NVIDIA GPUDirect 지원 방식을 기존 nvidia-peermem에서 dma-buf로 변경.
• Ubuntu에서는 기존의 nvidia-peermem 를 사용하지 않고, 가능한 dma-buf로 전환하는 것을 권장.
• Linux 5.15 기반의 Ubuntu 22.04 LTS 커널 사용자 또는 Linux 5.4 기반의 Ubuntu 20.04 LTS 커널 사용자에게는 영향을 미치지 않음.
• Ampere 및 Hopper와 같은 최신 NVIDIA GPU 아키텍쳐 + 6.8 이상의 커널에서 Infiniband를 통해 NVIDIA GPUDirect를 사용하는 경우 dma-buf 를 지원하도록 관련 스택 업데이트.
  • CUDA toolkit >= 11.7
  • GPU driave branch >= 515.
  • NCCL >= 2.13.4
  • HPC applications must use UCX >= 1.15.0
• DMA-BUF는 별도의 커널 모듈을 사용하지 않으므로 호환성 good.

nvidia-peermem vs. DMA-BUF

참고

• https://kubernetes.recipes/recipes/networking/switch-gpudirect-rdma-dma-buf/