1) 환각? Why?
컨텍스트를 제대로 넣어주지 않는 경우 LLM은 희미한 기억에서 말을 꺼내온다.
2) 환각을 줄이는 방법
- 제공한 정보를 바탕으로 답변하라는 지시 명시
- 주어진 문서에서 질문과 답과 관련한 내용을 인용하라고 지시
- 모른다는 답을 허용하는 것을 명시
- 프롬프트의 출력을 사고와 답변 섹션으로 분리
- 각각 다른 방법으로 여러개의 출력을 생성한 후, 각각의 답변이 일관성이 있는지 답변하라고 지시(Self-Consistency)
핵심: 먼저 관련 내용이 있는지 찾으라고 지시하고 없으면 그냥 없다고 출력하라고 지시한다.