평소에 LLM을 자주 사용한다.
LLM을 사용하지 않는 곳이 드물 정도이다.
그만큼 LLM의 대중성과 중요성은 나날이 커져만 가고, LLM으로부터 효과적인 답안을 제공받기 위해 효율적으로 프롬프트를 작성하는 것은 더욱 중요하다.
사내 과제를 수행하며 프롬프트 작성의 중요성을 느꼈고, 이에 대해서 알아가고 싶었다.
평소에는 "이거 알려줘." / "이게 뭐야?"라는 식으로 띡띡 물어봤지만,,,
더욱 체계적으로 LLM이 답변을 도출해내는 과정 속에서 추론을 하며 사용자의 의도에 맞는 답안을 제공할 수 있도록 프롬프트를 작성해야 한다.
프롬프트란?
프롬프트는 LLM의 "명령어"이자 "설계도"이다. 따라서 명확하고 정밀하며 목표 지향적으로 구성해야 최고의 효과를 발휘할 수 있다.
아래는 GPT-4 기반 LLM에게 효과적인 프롬프트를 작성하는 방법을 전문가 시각에서 정리한 가이드이다.
🧠 효과적인 프롬프트 작성 방법
1. 🎭 역할(Role)을 지정하라
LLM은 상황과 태도를 스스로 정할 수 없다.
역할 지정은 모델의 응답 품질을 극적으로 향상시킨다.
예시:
“당신은 베테랑 테크니컬 라이터입니다.”
“당신은 고정밀 QA 시스템으로, RAG 기반으로 응답합니다.”
2. 🧱 목표(Task)를 명확히 하라
"무엇을 하라"는 구체적인 지시 없이 모델은 추측 기반 응답을 한다.
입력 → 처리 → 출력의 흐름을 명확히 정의하자.
예시:
- "다음 문서에 기반해 질문에 답하세요."
- "중요한 부분만 요약하세요. 불필요한 문장은 제거하세요."
3. 🧩 입력 구조를 고정하라 (Format 지정)
구조화된 입력은 모델이 예측 오류를 줄이고 일관성을 유지하는 데 핵심이다.
특히 RAG에서는 필수이다.
예시:
[입력 형식]
원문: {chunk_str}
질문: {q_str}4. 🔍 출력 형식(Output Format)을 정의하라
모델에게 어떻게 출력하길 원하는지를 구체적으로 알려줘야 한다.
표, 리스트, 단계별 설명 등 원하는 구조를 미리 지정하자.
예시:
[출력 형식]
1. 질문 요약
2. 원문 내 근거 문장
3. 추론 논리
4. 최종 답변5. 🛑 금지 조건을 명시하라
모델은 추정/상식/외부지식을 섞으려는 경향이 있다.
이를 명시적으로 차단해야 오류를 방지할 수 있다.
예시:
“원문에 없는 내용은 포함하지 마세요.”
“정답이 없으면 ‘답변을 찾을 수 없습니다.’라고만 작성하세요.”
6. 🧠 단계별 추론(Chain-of-Thought)을 유도하라
GPT는 복잡한 문제도 잘 해결할 수 있지만, 사고의 흐름을 따라가며 유도해야 더욱 정밀한 결과를 낸다.
예시:
“단계별로 생각하고, 각 단계를 정당화하세요.”
“왜 그렇게 생각했는지도 설명하세요.”
7. 💡 예시를 포함하거나, 예시 기반으로 설계하라
예시를 포함하면 모델은 “그와 유사한 형식”으로 응답을 생성하려는 성향이 있다.
특히 RAG QA, 요약, 분류 작업에 매우 효과적이다.
예시:
예시) 원문: "인턴은 6개월 간 연수를 받는다." 질문: "인턴의 근무기간은?" 답변: "6개월"
✨ 보너스: 프롬프트 작성 3단계 공식
| 단계 | 내용 | 목적 |
|---|---|---|
| 1️⃣ 역할 설정 | "당신은 누구인가?" | 컨텍스트 정립 |
| 2️⃣ 목표 지시 | "무엇을 해야 하나?" | 작업 범위 명확화 |
| 3️⃣ 출력 구조 | "어떻게 답해야 하나?" | 결과 통일성 확보 |
🔐 팁 요약
- ✅ 프롬프트는 "짧게"보다 "정확하게"가 중요
- ✅ 문맥과 역할을 지정하면 응답 품질이 대폭 상승
- ✅ 포맷을 고정하면 QA 테스트/디버깅이 쉬워짐
- ✅ "원문 기반으로만 답하라"는 제약은 반드시 명시
- ✅ 고급 모델일수록 상세한 지시를 더 잘 따름
프롬프트 답안 채점 기준
프롬프트가 내놓은 답안이 여러 개일텐데, 이를 지정한 기준에 따라 채점하는 것도 중요하다.
- RAG 기반 QA 시스템에서 생성된 답변을 채점하는 기준은 단순한 문자열 유사도만으로는 부족하며, 다층적인 평가 항목을 설정하는 것이 바람직하다.
✅ RAG 기반 QA 답변의 채점 기준 (전문가용)
| 항목 | 설명 | 채점 방식 |
|---|---|---|
| 1️⃣ 정답성(정확도) | 답변이 문서의 정보와 의미적으로 일치하는가? | ✅ 기준 문장 존재 여부 + 의미 일치 여부 |
| 2️⃣ 근거 명확성 | 답변에 사용된 근거 문장이 원문에 명확히 존재하는가? | ✅ 인용 근거가 존재하고 정확한가 |
| 3️⃣ 유추/외삽 여부 | 문서에 없는 내용을 유추하거나 상상한 흔적이 있는가? | ❌ 발생 시 감점 또는 0점 |
| 4️⃣ 표현의 일관성 | 질문과 같은 표현 방식, 용어 체계를 사용했는가? | ✅ 용어, 어순, 개념이 일관적인가 |
| 5️⃣ 유의어 처리 적절성 | 유사 표현(예: "근무기간" vs "연수기간")을 올바르게 인식했는가? | ✅ 문맥적으로 동등하게 처리했는가 |
| 6️⃣ 불확실성 처리 | 근거 부족 시 "답변을 찾을 수 없습니다."로 명확하게 응답했는가? | ✅ No Hallucination 발생 여부 |
| 7️⃣ 출력 형식 준수 | 요구된 포맷(예: 단계별 구조)을 지켰는가? | ✅ 형식 일치 여부 |
