ROUTERRETRIEVER: Routing over a Mixture of Expert Embedding Models

https://arxiv.org/pdf/2409.02685

논문 "ROUTERRETRIEVER: Routing over a Mixture of Expert Embedding Models"는 기존의 단일 임베딩 모델 기반의 정보 검색(IR) 접근 방식의 한계를 극복하기 위해, 도메인 특화 전문가(Expert) 임베딩 모델을 라우팅 메커니즘으로 조합하여 검색 성능을 개선하는 새로운 모델을 제안합니다.

---

📌 1. 연구 동기

• 대부분의 정보 검색 시스템은 MSMARCO와 같은 범용 대규모 데이터셋에 기반해 단일 임베딩 모델을 학습시켜 사용함.
• 하지만 도메인 특화 데이터셋에서는 일반 모델보다 특화된 도메인 모델이 훨씬 나은 성능을 보여줌.
• 다만, 도메인 별로 각각의 모델을 학습/유지하는 비용은 매우 크며, 멀티태스크 학습은 새로운 도메인이 추가될 때마다 전체 모델을 재학습해야 함.
• 이 문제를 해결하기 위해, 라우팅을 통해 쿼리마다 가장 적절한 전문가(Expert) 임베딩 모델을 선택하는 방법을 제안.

---

📌 2. 주요 제안: ROUTERRETRIEVER

• 구성:
  • 고정된 Base Encoder (Contriever 등)를 중심으로,
  • 각 도메인에 대해 LoRA 기반의 전문가(Expert LoRA) 를 개별적으로 학습시킴.
  • Pilot Embedding Library: 각 expert를 대표하는 임베딩 벡터(centroid)를 사전에 생성해 저장함.
• 추론 과정:
  1. 쿼리를 Base Encoder로 임베딩.
  2. 이 임베딩을 각 expert의 pilot 임베딩들과 유사도 비교.
  3. 가장 평균 유사도가 높은 expert를 선택.
  4. 해당 expert를 사용하여 최종 쿼리 임베딩 생성.
• 장점:
  • 도메인 expert의 추가/삭제가 자유롭고 추가 학습 불필요.
  • 모델의 전체 파라미터 수 증가가 매우 적음 (각 expert는 전체 모델의 0.5% 수준).

---

📌 3. 실험 및 결과

✅ BEIR 벤치마크 실험

• 비교 모델: MSMARCO 단일 학습 모델, Multi-Task 모델, 여러 라우팅 기법 (e.g., ClassificationHeadRouter 등)
• 결과:
  • ROUTERRETRIEVER는 평균 nDCG@10 성능에서 +2~3pt 향상.
  • 기존의 언어모델 기반 라우팅보다 뛰어난 성능.
  • expert가 존재하지 않는 미학습 도메인에도 일반 모델보다 높은 제로샷 일반화 성능.

✅ 라우팅 성능 비교

• InstanceOracle > DatasetOracle > ROUTERRETRIEVER > 기존 라우터들
• 특히 ROUTERRETRIEVER는 InstanceOracle과의 성능 격차를 줄이는 것이 향후 과제.

---

📌 4. 분석 및 인사이트

💡 데이터 크기 영향

• 도메인 내에서는 데이터 양이 많을수록 성능 향상 크고,
• 도메인 밖에서는 데이터 양보다는 범용성(general-domain) 데이터가 더 좋은 성능.

💡 전문가 수 증가 효과

• 3개 expert만으로도 MSMARCO 단일 모델보다 우수.
• 전문가 수가 많아질수록 초기에는 성능이 증가하지만, 이후에는 점진적 수익 감소(diminishing return).

💡 라우팅 오류 분석

• ROUTERRETRIEVER는 전문가 선택 경향이 비교적 "보수적"(sparse)이며, 대부분 도메인 내 expert를 선택함.
• InstanceOracle은 도메인 간 crossover expert도 적극 활용.
• 이를 통해, ROUTERRETRIEVER는 DatasetOracle과 유사한 라우팅 경향을 가짐.

---

📌 5. 효율성 측면

• 학습 효율성:
  • expert 하나당 약 1M 파라미터 (전체 모델의 0.5%)만 학습.
  • 멀티태스크 학습보다 훈련 시간 및 자원 효율적.
• 추론 효율성:
  • 두 번의 forward pass 필요 (1. 라우팅 결정, 2. 최종 임베딩 생성).
  • 향후 라우팅 효율성 개선이 연구 과제로 남아 있음.

---

📌 6. 결론 및 향후 연구 방향

• ROUTERRETRIEVER는 도메인 특화 임베딩 모델을 라우팅으로 조합하여 정보 검색 성능을 대폭 향상시킬 수 있음.
• 구조적으로 유연하며, 추가 학습 없이 도메인 expert를 추가/삭제 가능.
• InstanceOracle 수준의 라우팅을 구현하는 더 정교한 라우팅 기술 개발이 앞으로의 중요한 과제.

---