📌 Infiniband 란?

Infiniband는 고성능 컴퓨팅(HPC), AI 클러스터, 스토리지 시스템 등에서 널리 사용되는 초고속, 저지연 네트워크 기술이다.

1. 🧱 InfiniBand 아키텍처의 핵심 구성 요소

용어	설명
HCA (Host Channel Adapter)	서버에 장착된 InfiniBand 전용 NIC (네트워크 카드)
Switch	InfiniBand 전용 스위치 (Spine-Leaf 구조로 구성 가능)
LID (Local Identifier)	각 노드에 부여되는 로컬 주소 (Ethernet의 IP와 유사)
GUID (Global Unique ID)	장비나 포트의 고유 식별자 (MAC과 비슷)
Subnet Manager (SM)	InfiniBand 네트워크 내에서 라우팅 경로를 계산하고 관리하는 관리자
QP (Queue Pair)	통신을 위한 전송 큐 (Send/Receive Queue의 쌍)
RDMA	원격 메모리에 직접 접근하는 통신 방식 (CPU 우회)

2. 🔄 InfiniBand 통신 과정 (전송 순서)

📌 Step 1. 초기화 및 주소 할당

• 서버가 부팅되면 HCA가 SM에 연결을 요청
• SM은 각 포트에 LID를 부여하고 라우팅 테이블 설정
• 이 과정은 Infiniband 전용 프로토콜인 SMP(Subnet Management Protocol)을 통해 처리됨

📌 Step 2. 통신 세션 설정 (QP 생성)

• 통신을 원하는 노드 간에는 QP를 생성
• 각 QP는 Send Queue + Receive Queue 로 구성되며, 이를 통해 메세지를 주고 받음
• 이 때 사용하는 전송 방식은 Reliable/Unreliable 연결 모드를 선택

📌 Step 3. 메모리 등록

• RDMA 통신을 위해 애플리케이션이 메모리 버퍼를 등록
• 등록된 메모리는 Memory Region이 되어 상대방이 접근 가능한 메모리 공간이 됨
• 등록 시 얻는 키(Key)를 통해 상대 노드가 해당 메모리에 접근할 수 있음

📌 Step 4. 데이터 전송 시작

• 통신 방식에 따라 다음 중 하나를 사용함:

1. Send/Receive: 전통적 큐 기반 통신 (상대방이 Receive 먼저 준비)
2. RDMA Write: 상대방 메모리에 직접 쓰기 (CPU 개입 X)
3. RDMA Read: 상대방 메모리에서 직접 읽기 (역시 CPU 개입 없음)
4. Atomic: 원자 연산도 지원

이 데이터는 Infiniband 패킷으로 캡슐화되어 전송됨.

📌 Step 5. 라우팅 및 스위치 통과

• 데이터는 LID를 기준으로 라우팅됨
• 라우팅 방식은 기본적으로 Fat Tree 기반, SPF(Shortest Path First) 또는 Adaptive Routing 이 사용됨
• Infiniband 스위치는 Cut-throught Switching을 사용해 지연을 최소화

📌 Step 6. 수신 및 처리

• 수신 노드는 QP의 Receive Queue에서 데이터를 수신하거나 메모리가 등록된 영역에 RDMA 방식으로 직접 접근한 결과를 확인
• 이후 애플리케이션은 처리된 데이터를 사용

3. 🚀 InfiniBand 통신 특징

항목	특징
지연(Latency)	매우 낮음 (12 마이크로초)
대역폭	HDR: 200Gbps / NDR: 400Gbps
전송 방식	RDMA, Send/Receive, Atomic
연결 관리	QP 기반, LID/GID 주소
스위치 역할	단순한 LID 기반 포워딩 (라우팅 경로는 SM이 설정)
로드 밸런싱	ECMP, Adaptive Routing 가능
Flow Control	링크 수준에서 강제 (크레딧 기반)