Enhancing LLM Trading Performance with Fact-Subjectivity Aware Reasoning paper review

논문원본: https://arxiv.org/pdf/2410.12464

Introduction

Background

• LLM의 발달로 인해 코딩 및 수학과 같이 고급 추론이 필요한 분야에 우수성과
• CryptoTrade와 같이 LLM 기반 트레이딩 전략 개발도 활발히 이루어지고 있음

Problem Definition

• 위 표에서 GPT3.5부터 o1-mini까지 모델 크기와 수익은 비례하지 않는다는 것을 알 수 있다. 이를 통해 논문에서는 이러한 의문점을 제시하고 있다.

  Why stronger LLMs with advanced reasoning ability fail to outperform
  weaker ones in trading?

• 위 의문점에서 나아가 추가적인 의문점을 제시하고 있다.

  How to better exploit their advanced reasoning ability?

Proposed Method

• 논문에서는 위 그림을 통해 분석하여 아래와 같은 주장을 하고 있다.

  분석과 추론 과정을 Factual와 Subjective로 나누어서 진행하면 트레이딩 성공률이 올라간다

• 이를 기존 CryptoTrade Framework에 적용한 Fact-Subjectivity-ReasoningAgent 를 제안

• CryptoTrade workflow
  

Framework

Data Collection

• Statistics
  - From CoinMarketCap
  - opening price, closing price, transaction volume …
• News
  - From Gnews API
  - 출처를 통한 데이터 필터링 (Bloomberg, Yahoo Finance, crypto.news)

Agent Prompt

Experiments

Limitations & Impact

Limitation

• 3개의 암호화폐(비트코인, 이더리움, 솔라나)만 다루고 있기 때문에 결과에 신빙성이 부족함
• 심지어 위 표와 같이 다른 암호화폐에 대한 결과에서 논문의 주장에 반례가 있음

Impact

• ablation study에서 시장상태(bull or bear)에 따라서 subjective component와 factual component의 가중치가 바뀐다는 인사이트
• 각 agent들에서 사용되는 prompt

Appendix

Baseline Trading Strategies