Distributed Mixture-of-Agents for Edge Inference with Large Language Models

Distributed Mixture-of-Agents for Edge Inference with Large Language Models

이 논문은 Distributed Mixture-of-Agents (MoA) 프레임워크를 사용하여 에지 디바이스에서 대형 언어 모델(LLM) 추론을 분산적으로 수행하는 방법을 연구합니다. 기존 중앙집중식 LLM 접근 방식은 단일 장애점(single point of failure) 문제와 높은 통신 지연 문제를 야기하는데, 본 연구에서는 MoA 모델을 에지 환경에서 분산 처리하여 협업 기반 추론을 가능하게 합니다.

---

1. 연구 배경 및 동기

1.1 대형 언어 모델(LLM)의 한계

• 기존 LLM들은 강력한 자연어 처리(NLP) 능력을 보이지만, 모든 사용자 요청을 처리하는 중앙 서버 방식은 한계가 있음.
• 단일 서버 방식의 문제점:
  • 단일 장애점: 중앙 서버가 다운되면 모든 서비스가 중단될 수 있음.
  • 통신 지연: 에지 디바이스에서 중앙 서버까지의 네트워크 속도 문제.
  • 높은 비용: 클라우드에서 LLM을 운영하는 데 막대한 비용 발생.

1.2 Mixture-of-Agents (MoA) 개념

• MoA는 여러 개의 독립적인 LLM이 협력하여 더 나은 추론을 수행하는 구조.
• MoA는 두 가지 핵심 요소로 구성됨:
  1. Proposer LLMs: 사용자 입력(prompt)에 대한 다양한 응답을 생성하는 다수의 제안 모델.
  2. Aggregator LLM: 여러 응답을 비교 및 조합하여 최종적으로 가장 좋은 결과를 생성.
• 기존 연구에서는 MoA를 활용해 GPT-4o 수준의 성능을 경쟁적으로 달성할 수 있음을 보였으며, 다양한 LLM을 결합하여 응답 품질을 향상하는 것이 가능함.

---

2. 연구 목표 및 기여

• 기존 MoA를 중앙 서버 없이 분산형으로 운영하는 "Distributed MoA" 모델을 제안.
• 에지 디바이스에서 개별 LLM이 협업하여 추론을 수행.
• Gossip 알고리즘을 활용하여 에지 디바이스 간 정보를 공유하여, 중앙 서버 없이도 정보 교환 가능.
• 큐 안정성(Queue Stability) 분석을 수행하여 에지 디바이스가 제한된 메모리 내에서 최적의 LLM 운영이 가능하도록 설계.

---

3. 시스템 모델

3.1 Distributed MoA 구조

• 각 사용자(device)는 자신만의 LLM을 보유하고 있으며, 서로 협력하여 질의 응답 수행.
• 한 개의 LLM이 수행하기 어려운 질문에 대해 이웃 LLM들과 정보를 공유(가십 알고리즘 사용)하여 더 나은 응답을 생성.

MoA 동작 과정

1. 사용자 i가 질의(prompt)를 생성하고, 이를 자신의 LLM에게 전달.
2. 이웃 LLM들에게 질의를 공유하여 추가적인 응답을 요청.
3. Proposer LLM들이 각각의 답변을 생성.
4. Aggregator LLM이 이 답변들을 통합 및 평가하여 최종 응답 생성.
5. 최종 응답이 사용자에게 반환됨.

Gossip 알고리즘 활용

• 중앙 서버 없이 에지 디바이스 간 정보 공유를 위한 "소문 퍼뜨리기(gossiping)" 방식 적용.
• 사용자 요청을 직접 여러 LLM에게 분산하고, 이를 조합하여 최종 응답 도출.
• 6G 네트워크의 핵심 기술인 "Semantic Communication" 개념과 연계.

---

4. 큐 안정성(Queuing Stability) 분석

4.1 큐 안정성을 고려하는 이유

• 에지 디바이스는 메모리가 제한적이므로, 무한정 요청을 수용할 수 없음.
• 사용자 질의가 너무 빠르게 생성되거나, LLM의 처리 속도가 느리면 대기열(queue)이 과부하 상태에 빠질 위험이 있음.
• 따라서, 각 에지 디바이스의 대기열이 안정적인 상태를 유지하기 위한 수학적 조건을 분석.

4.2 큐 안정성 조건

• 각 디바이스에서 큐 크기가 무한정 증가하지 않도록 하기 위한 수식 유도: α((k+1)M+1)λ<1α((k + 1)M + 1)λ < 1
  • λ (lambda): 사용자 질의 생성 속도
  • α (alpha): LLM이 평균적으로 한 질의를 처리하는 시간
  • k: 각 질의가 공유되는 이웃 LLM 개수
  • M: MoA 계층(layer) 개수
• 위 수식을 통해 MoA 구조에서 각 LLM의 큐가 안정적으로 유지되기 위한 임계 조건을 도출.

---

5. 실험 결과

5.1 실험 환경

• 다양한 오픈소스 LLM (LLaMA-3-70B, Qwen-1.5-72B, Mixtral-8x22B, DBRX-Instruct)을 활용하여 실험 진행.
• AlpacaEval 2.0 데이터셋을 사용하여 MoA의 정확도 평가.
• 시스템의 평균 대기열 크기(Queue Size) 및 평균 지연 시간(Latency) 측정.

5.2 실험 결과 분석

(1) MoA 계층(M)과 제안자 개수(k) 변화에 따른 성능 변화

• MoA의 계층(M)과 proposer 개수(k)가 증가할수록 정확도가 향상됨.
• 하지만, 계층과 proposer 개수가 많아질수록 처리 지연(latency)도 증가.

(2) 단일 LLM vs. 다양한 LLM 혼합 성능 비교

• 동일한 LLM을 사용한 경우보다, 다양한 LLM을 조합한 경우 정확도가 증가.
• 이는 서로 다른 모델이 보완적인 정보를 제공하기 때문.

(3) 정확도 vs. 대기열 크기(Queue Size) 트레이드오프

• 정확도를 높이기 위해 여러 LLM을 활용할수록 평균 대기열 크기가 증가.
• 높은 정확도를 원할 경우, 메모리 사용량 증가를 감수해야 함.

---

6. 결론 및 시사점

• MoA는 개별 LLM보다 협업을 통해 더 나은 추론 결과를 제공할 수 있음.
• 분산 MoA는 중앙 서버 없이 에지 디바이스 간 협력으로 작동 가능, 이를 통해 단일 장애점 문제 해결 가능.
• MoA 계층(M) 및 proposer 개수(k)를 조정하여 정확도와 성능 간의 트레이드오프를 최적화 가능.
• 실험 결과, 다양한 LLM을 조합한 경우 정확도가 향상됨을 확인.

---

📌 최종 요약

• 기존 중앙 서버 방식의 LLM 운영의 한계를 극복하기 위해 "Distributed Mixture-of-Agents (MoA)"를 제안.
• 에지 디바이스에서 개별 LLM들이 협업하여 더 나은 추론을 수행하는 방식.
• MoA는 여러 proposer LLM이 응답을 생성하고, aggregator LLM이 최종 응답을 결정하는 구조.
• Gossip 알고리즘을 사용하여 에지 디바이스 간 정보 교환을 수행.
• 큐 안정성 분석을 통해 MoA 구조가 안정적으로 운영될 수 있는 수식을 도출.
• 실험 결과, 다양한 LLM 조합이 정확도를 향상시키며, MoA 구조가 성능을 최적화하는 데 유용함을 확인.
• 정확도, 처리 속도, 메모리 사용량 간의 트레이드오프를 조정하여 최적의 MoA 구조를 설계 가능.

이 연구는 분산된 에지 환경에서 LLM을 효과적으로 운영하는 새로운 방법을 제시하며, 향후 6G 네트워크 및 IoT 시스템과의 연계 가능성을 보여줌.