LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading

https://export.arxiv.org/pdf/2501.09636

LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading

---

1. 개요

최근 금융 시장에서 딥러닝 및 대형 언어 모델(LLM)의 발전과 함께 Mixture of Experts (MoE) 구조가 적용되며 다양한 성과를 보였다. 하지만 기존 MoE 방식은 단일 모달(unimodal) 접근법을 사용하여 뉴스, 경제 지표, 시장 심리 등 텍스트 기반 정보를 제대로 활용하지 못하는 문제가 있다. 또한, 고정적인 신경망 기반 라우터는 시장 변동성과 현실적 맥락을 반영하는 데 한계를 가진다.

이를 해결하기 위해 본 논문에서는 LLMoE (LLM-based Mixture of Experts) 프레임워크를 제안한다.

이 방법은 기존 MoE 라우터를 LLM으로 대체하여 더 나은 전문가 선택 및 성능 향상을 목표로 한다.

🔹 주요 기여점

• LLM을 MoE 라우터로 활용하여 더 정교한 전문가 선택 가능
• 멀티모달 데이터(수치+텍스트) 처리를 통해 예측 성능 향상
• 실제 주식 데이터 실험 결과 기존 MoE 모델보다 우수한 성능 기록

---

2. 기존 연구 및 한계

2.1 기존 MoE 기법의 문제점

1. 단일 모달 데이터 활용: 기존 MoE 모델들은 주로 수치 데이터(가격, 거래량 등)만 사용하고 뉴스 등의 텍스트 정보를 무시
2. 고정적 라우팅 방식: 기존 MoE의 라우터는 학습된 신경망을 사용하지만, 시장 변동성과 맥락을 반영하지 못해 최적의 전문가 선택이 어려움
3. 전문가 선택의 비효율성: 정적인 라우터 방식은 특정 조건에서 학습된 전문가에게만 의존할 가능성이 높아짐

2.2 LLM을 활용한 해결방안

본 논문에서는 LLM을 MoE 라우터로 사용함으로써 위의 문제를 해결한다.

• LLM이 뉴스 및 수치 정보를 함께 해석하여 전문가 선택
• 동적인 라우팅을 통해 변동성이 큰 시장에서도 적응 가능
• 기존 신경망 기반 MoE보다 더 정확한 주식 예측 가능

---

3. 문제 정의 및 방법론

3.1 문제 정의

주어진 5일간의 데이터를 기반으로, 다음 날의 주가 변동을 예측하는 것이 목표이다.

• 입력 데이터 $X(t−4:t) = \{x_{t-4}, x_{t-3}, x_{t-2}, x_{t-1}, x_{t}\}$ 여기서 x_i는 수치 정보(주가 지표) + 해당 날짜의 뉴스 헤드라인을 포함한 멀티모달 데이터이다.
  
• 출력
  • 다음 날 주가 변동량 Yt+1Y_{t+1}
    
  • 해당 정보를 기반으로 한 최적의 트레이딩 전략

3.2 LLMoE (LLM-based Mixture of Experts) 아키텍처

본 연구에서는 LLM을 MoE 라우터로 활용하는 LLMoE 프레임워크를 제안한다.

(1) LLM 기반 라우터

LLM은 수치 및 뉴스 데이터를 결합하여 시장 전망(긍정적/부정적)을 분류하며, 이를 바탕으로 적절한 전문가 모델을 선택한다.

• 입력: 과거 5일간의 수치 및 뉴스 데이터
• 출력:
  • 시장 전망(Classification): 긍정적(Optimistic) / 부정적(Pessimistic)
  • 설명(Reasoning): 시장 전망을 판단한 이유를 자연어 형태로 제공

(2) 전문가 모델(Expert Prediction)

• 전문가 모델은 긍정적인 시장과 부정적인 시장을 각각 예측하는 모델로 구분됨
• LLM 라우터가 판단한 시장 전망을 바탕으로 적절한 전문가 모델을 선택하여 주가 변동 예측 수행

(3) 트레이딩 전략 생성 (Trading Algorithm Generation)

• "All-in All-out" 전략 적용:
  • 주가 상승 예측 시 모든 자금을 투자
  • 주가 하락 예측 시 모든 자산을 청산
• 기존의 복잡한 포트폴리오 최적화보다 더 단순하지만, 강력한 수익성을 보임

---

4. 실험 및 결과

4.1 실험 데이터셋

• MSFT (마이크로소프트) 주식 데이터 (2006~2016년)
  • 2,503 거래일 중 1,176일은 뉴스 데이터 없음
  • 결측 데이터 처리 능력을 평가하는 데 유용
• AAPL (애플) 주식 데이터 (2006~2016년)
  • 2,482 거래일 중 194일만 뉴스 데이터 없음
  • 비교적 완전한 데이터셋으로 활용

4.2 실험 결과

1. LLMoE는 기존 모델 대비 성능 우수
   • 기존 MoE보다 Sharpe Ratio(샤프 지수), Total Return(총 수익), Calmar Ratio(리스크 조정 수익률) 등에서 25% 이상 향상
   • 특히 시장 변동성이 높은 구간에서 더 좋은 성능을 보임
2. 2-Expert MoE vs. LLMoE 성능 비교
   • 기존 MoE(2명의 전문가 사용)보다 LLMoE가 훨씬 더 정확한 전문가 선택 가능
   • LLMoE는 다양한 시장 조건에서도 안정적인 성능 유지
3. LLM 라우터의 해석 가능성(Interpretability)
   • LLM 라우터는 뉴스와 시장 지표를 조합하여 판단 근거 제공
   • 예시:
     • "애플의 성장 둔화 우려에도 불구하고 주가 및 거래량 증가" → "조심스럽게 낙관적인 전망"
   • 기존 MoE는 단순한 수치 데이터 기반 판단만 가능했음

---

5. 결론 및 향후 연구 방향

5.1 결론

• 본 연구에서는 LLM을 MoE 라우터로 활용하는 LLMoE 프레임워크를 제안
• 수치 데이터 + 뉴스 데이터를 결합하여 시장 예측 정확도 향상
• 기존 MoE 모델 대비 25% 이상 성능 개선, 특히 시장 변동성에 강한 모델 성능 확인

5.2 향후 연구 방향

1. 실시간 학습 적용
   • 기존 모델은 고정된 학습 데이터에 의존
   • 실시간으로 새로운 데이터를 반영하는 방법 연구 필요
2. 다양한 데이터 소스 통합
   • 현재 뉴스 및 주가 데이터를 활용했지만, 소셜미디어, 경제 보고서 등의 데이터 추가 가능
3. 포트폴리오 최적화 적용
   • 현재는 단순한 "All-in All-out" 전략을 사용
   • 최적의 자산 배분 방식을 탐색하는 연구 가능

---

📌 요약

본 논문에서는 LLM을 MoE 라우터로 활용하는 LLMoE 프레임워크를 제안했다.

기존 MoE 모델이 고정적인 전문가 선택 및 단일 모달 데이터 사용의 한계를 가졌던 반면,

LLMoE는 LLM의 언어 이해 능력을 활용하여 수치 및 뉴스 데이터를 결합한 동적 전문가 선택이 가능하다.

실험 결과, LLMoE는 25% 이상의 성능 향상을 보였으며,

특히 시장 변동성이 높은 환경에서도 우수한 성능을 유지하는 것이 확인되었다.

💡 LLM 기반의 MoE 라우팅 기법은 금융 시장에서 유망한 접근 방식이 될 수 있다! 🚀