프롬프트 엔지니어링: 최적화 전략
프롬프트 엔지니어링은 대규모 언어 모델 LLM의 성능을 극대화하는 데 핵심적인 역할을 하며, 명확하고 구조화된 요청을 통해 모델이 원하는 답변을 정확하게 도출할 수 있도록 유도해야 한다.
이 글에서는 대규모 언어 모델(LLM)을 다루는 기술인 프롬프트 엔지니어링의 최적화 기법을 확인하기 위해, 논문 "Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4"에서 제시된 주요 기법과, LLM의 성능을 극대화하는 방법을 정리했다.
(논문에서는 LLaMA-1/2 및 GPT-3.5, GPT-4와 같은 최신 언어 모델을 대상으로 26가지의 원칙을 적용해 프롬프트를 최적화하는 방법을 제시했다. 이러한 원칙은 정확성 및 응답 품질을 평균 57.7%, 36.4% 향상시켰다.)
주요 프롬프트 엔지니어링 전략
- 프롬프트 구조 및 명확성
- 대상 독자 명시: "해당 독자는 이 분야의 전문가입니다"와 같이 명확한 대상 설정
- 명령형 문구 사용: "이 작업을 수행하세요"와 같은 명확한 지시어 사용
- 구체성 및 정보
- 예시 포함: "아래 예시와 같은 방식으로 답변하세요"
- 편향 제거: "편향되지 않은 답변을 작성하세요"
- 사용자 상호작용 및 참여 유도
- 추가 정보 요청: "필요한 경우 질문을 통해 정보를 요청하세요"
- 점진적 피드백: "각 단계마다 피드백을 제공하고 개선하세요"
- 콘텐츠 및 언어 스타일
- 불필요한 공손함 제거: "감사합니다", "부탁드립니다" 등의 표현 생략
- 모델 역할 부여: "당신은 수학 교사입니다"와 같이 모델에 명확한 역할을 부여
- 복잡한 작업 및 코딩 프롬프트
- 복합 작업 분해: 복잡한 문제를 여러 단계로 나누어 프롬프트 작성
- 코드 예제 제공: "아래의 예제 코드를 참조하여 문제를 해결하세요"
출처 및 참조
Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4, Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen, 2023.
https://arxiv.org/pdf/2312.16171
