FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance

논문 링크

Abstract

DRL은 quantitative finance에서 효과적인 접근 방식. 그러나 DRL trading agent를 훈련하여 언제, 어떤 가격에, 얼마나 거래할지 결정하게 만드는 과정은 오류 발생이 쉽고 복잡한 개발 및 디버긴 과정 수반함.

FinRL
초보자들이 quantitative finance를 경험하고 자신만의 거래 전략을 개발할 수 있도록 돕는 DRL library

• 재현 가능한 튜토리얼과 함께 제공
• 사용자가 자신만의 개발 과정을 간소화하고 기존 방식과 쉽게 비교할 수 있도록 설계

FinRL은

• 주식 시장 dataset을 활용해 가상 환경 구성
• 신경망 통해 trading agent 훈련하
• 거래 성과 바탕 포괄적인 backtesting 수행
• 거래 비용, 시장 유동성, 투자자의 위험 회피 성향 등 주요 거래 제약 조건 반영

더하여 다음과 같은 특징을 통해 초보자 친화적인 라이브러리 제공

• 완결성
  다양한 주식 시장(NASDAQ-100, DJIA, S&P 500, HSI, SSE 50, CSI 300) 대상 시간 단위별 트레이딩 환경 시뮬레이션

• 직관적인 튜토리얼

  • 계층적 architecture와 모듈형 구조로 설계
  • 최점단 DRL 알고리즘
  • 일반적인 보상 함수, ㅍ준 평가 기준 포함
    $\rightarrow$ 디버깅 부담 줄임 + 재현성 강화

• 확장성
  사용자 정의 가능하도록 다양한 인터페이스 제공

Introduction

DRL은 (미지의 영역의) exploration과 (현재 지식의) exploitation을 균형 있게 수행
$\rightarrow$ 자동 주식 거래에 유리한 접근 방식

DRL framework는 unknown environment와의 ineraction을 통해 학습하며, dynamic decision making problems를 해결함으로써 두 가지 주요 이점을 제공함

1. 포트폴리오 확장성
2. 시장 모델 독립성

주식 거래는 dynamic decisioni making process로, 언제, 어떤 가격에, 얼마나 거래할지 결정하는 작업은 변동성이 크고 복잡한 주식 시장에서 수행됨.
이러한 특성으로 인해 DRL은 주식 거래를 위한 유용한 도구를 제공함

DRL trading agent는 다양한 금융 요인을 고려하여 multi-factor model을 구축하고, 알고리즘 기반의 거래 전략을 수립함. 이는 human trader가 수행하기 어려운 작업.

그러나 DRL or RL 기반의 거래 전략을 구현하는 것은 쉽지 않음. 개발 및 디버깅 과정은 매우 복잡하고 오류 발생 쉬움.

• 훈련 환경 구성
• 중간 거래 상태 관리
• 훈련 관련 데이터 정리
• 평가 지표 출력 표준화

이러한 단계들로 인해 초보자에게 시간 소모적인 작업임.

이에 따라 본 논문의 연구자들은 초보자 친화적인 DRL library를 개발함. 해당 라이브러리는 fine-tuned DRL algorithm을 통해 다음 세 가지 원칙을 따름

1. completeness
   DRL framework의 모든 구성 요소를 포괄하여 기본 요구 사항 충족
2. hands-on tutorials
   초보자 친화적인 튜토리얼 통해 라이브러리의 기능 탐색 도움
3. reproducibility
   투명성 보장, 사용자가 작업 결과 신뢰할 수 있도록 재현성 확보

FinRL library는 three-layered 를 통해 주식 거래 전략 개발을 간소화함

1. environment
   • lowest level
   • 실제 historical data 기반 금융 시장 환경 시뮬레이션
   • 6개 주요 지수(NASDAQ-100, DJIA, S&P 500, HSI, SSE 50, CSI 300)와 함께 종가, 주식 수, 거래량, 기술 지표 등 다양한 속성 반영
2. agent
   • 최첨단 DRL algorithm(DQN, DDPG, Adaptive DDPG, Multi-Agent DDPG, PPO, SAC, A2C, TD3 등등) 제공
   • reward function 및 평가 기준 포함하여 디버깅 부담 줄이고 재현성 강화
   • agent는 state space와 action space에서 정의된 reward function과 상호작용
3. application
   • 자동 주식 거래 구형
   • 단일 주식 거래, 다중 주식 거래, 포트폴리오 할당의 세 가지 사용 사례 통해 실습

Contributions

1. quantitative finance를 위한 오픈소스 라이브러리
   market frictions를 고려한 거래 환경 제공
2. 초보자 친화적인 DRL agent
   직접 실습 튜토리얼 제공
   거래 시간 단위 조정 가능
3. 뛰어난 확장성
   다양한 fine-tuned SOTA DRL 알고리즘 활용
   급변하는 주식 시장에 맞춰 전략 유연하게 조정 가능

읽는 중.......