DSPy란?
- Prompt 설계를 Progrmming 하듯이 가능하도록 만드는 도구
- Prompt 최적화 뿐 아니라 RAG, Fine-tuning, Agent Loop 등에서도 쓰인다
DSPy Programming
Entity Extraction
- 주어진 텍스트에서 사람 이름을 추출하는 작업
Optimization
-> Automatic Few-Shot Learning : 프롬프트 내에 최적화된 예제를 자동으로 생성하고 포함하여 Few-shot을 구성함
-> Automatic Instruction Optimization : 프롬프트에 대한 최적의 지시문을 생성하고 필요하다면 Few-shot 예시도 직접 구성
-> Automatic Fine-tuning : 기본적인 언어 모델을 훈련 데이터 셋으로 파인튜닝 하는 기법
-> Program Transformation : 여러 DSPy 프로그램의 집합을 앙상블해서 단일 프로그램처럼 동작하도록 하는 기법
Evaluation
-> DSPy도 Evaluation을 위해서 커스텀 메트릭을 만들고 반복적인 개선이 필요하다
-> 최소 20개의 테스트 데이터가 있어야 하고 권장하는건 200개의 데이터임
DSPy의 특징
- 프롬프트 설계를 아주 단순하게 할 수 있다
- DSPy에서는 간단한 프롬프트 기법인 CoT, SC, In-Context Learning을 현재 지원함
- DSPy 에서는 프롬프트 설계한 모듈을 조합해서 추론하는 것도 가능
