PEARL

• https://github.com/facebookresearch/Pearl
• 2700 회 star

Pearl: Meta의 Production-Ready 강화학습 AI 라이브러리

• Meta의 Applied Reinforcement Learning 팀이 공개한 Pearl은 강화학습 AI 에이전트 개발을 위한 오픈소스 라이브러리
• NeurIPS 2023에서 소개된 Pearl
• 제한된 관찰 환경, 희소한 피드백, 높은 확률적 특성을 가진 환경에서도 적응할 수 있는 강화학습 에이전트를 구축하는 데 최적화

Pearl의 주요 특징

• Pearl은 모듈형 설계를 기반으로 다양한 기능을 조합하여 특정 환경과 목적에 최적화된 AI 에이전트를 개발할 수 있음
• 특히, 다음과 같은 생산 환경을 고려한 고유한 기능들을 제공
  • 동적 액션 공간 지원
  • 오프라인 학습
  • 지능적 탐색
  • 안전한 의사결정
  • 이력 요약 및 데이터 증강

구조 및 설계

• Pearl 에이전트의 구조는 아래와 같이 구성

1. 정책 학습 모듈
   정책(Policy)을 지속적으로 최적화하고, 위험 선호도와 제약조건을 반영
2. 탐색 모듈
   효율적인 탐색을 통해 높은 보상을 기대할 수 있는 액션을 우선적으로 선택
3. 안전 모듈
   안전성을 고려하여 의사결정 과정에서 리스크를 최소화
4. 이력 요약
   환경에서 얻은 데이터(히스토리)를 요약하고 데이터 증강을 통해 학습 효율성을 높임
5. Replay Buffer
   과거의 데이터 배치를 저장하고 재활용하여 학습 과정의 안정성을 제공

사용 사례

• Pearl은 현재 추천 시스템, 경매 입찰 시스템, 창의적 선택 모델 등 다양한 실제 응용 분야에 적용되고 있음
• 각 응용 분야에서 활용 가능한 Pearl의 기능은 다음과 같습니다:

Pearl 기능	추천 시스템	경매 입찰 시스템	창의적 선택
정책 학습	✅	✅	✅
지능적 탐색	✅	✅	✅
안전성		✅
이력 요약		✅
Replay Buffer	✅	✅	✅
Contextual Bandit			✅
오프라인 강화학습	✅	✅
동적 액션 공간	✅		✅

예제 및 튜토리얼

• Pearl은 다양한 Jupyter Notebook 튜토리얼을 제공합니다:
• 추천 시스템
  • MIND 데이터셋을 활용한 간단한 추천 시스템 구현
• Contextual Bandits
  • SquareCB, LinUCB, LinTS 알고리즘 테스트
• Frozen Lake
  • DQN을 사용한 Frozen Lake 문제 해결
• Deep Q-Learning (DQN)
  • Cart-Pole 환경에서 DQN 및 Double DQN 실험
• 안전 제약을 가진 Actor-Critic
  • 안전성을 고려한 Actor-Critic 알고리즘 적용

더 알아보기

• Pearl은 연구자와 산업 실무자 모두를 대상으로 강화학습 AI 에이전트 개발을 지원합니다.
• 자세한 내용은 Pearl 공식 웹사이트와 ArXiv 논문에서 확인할 수 있습니다.