Generated Knowledge Prompting Engineering은 언어 모델(LLM)을 활용하여 질문에 대한 답변을 생성하는 과정을 개선하는 기법입니다. 이 방법은 두 가지 주요 단계로 구성됩니다:
-
지식 생성 단계 (Step 1):
- 주어진 질문과 함께 미리 정의된 지시사항(Instruction)과 예시(Demonstrations)를 포함한 프롬프트를 PLM(Pretrained Language Model)에 입력합니다.
- PLM은 이 프롬프트를 기반으로 관련 지식(Knowledge)을 생성합니다.
- 이 과정에서 샘플링 기법을 사용하여 다양한 지식을 생성합니다 (Knowledge 1, Knowledge 2, ...).
-
지식 통합 및 답변 생성 단계 (Step 2):
- 첫 번째 단계에서 생성된 지식들을 통합합니다.
- 통합된 지식을 바탕으로 원래 질문에 대한 최종 답변을 생성합니다.
이 방법의 핵심 아이디어는 "Prompt Chaining"이라고 불리는 기법과 유사합니다. Prompt Chaining은 작업을 여러 작은 단계로 분할하고, 각 단계의 결과를 다음 단계의 프롬프트로 사용하여 전체 작업을 완성하는 방식입니다.
Generated Knowledge Prompting Engineering의 장점:
1. 복잡한 추론 과정을 단계별로 나누어 처리할 수 있습니다.
2. 중간 단계에서 생성된 지식을 활용하여 더 정확하고 관련성 높은 답변을 생성할 수 있습니다.
3. 모델이 직접적인 답변 대신 관련 지식을 먼저 생성함으로써, 더 신뢰할 수 있고 검증 가능한 정보를 제공할 수 있습니다.
이 방법은 특히 상식적 추론이 필요한 태스크에 효과적일 수 있으며, 언어 모델의 성능을 향상시키는 데 도움이 될 수 있습니다.
예시
예를 들어, 다음과 같은 질문이 주어졌다고 가정해봅시다:
"왜 바나나는 익으면서 달아질까요?"
Step 1: 지식 생성
프롬프트 구성:
지시사항: 주어진 질문에 대해 관련된 과학적 사실들을 나열하세요.
예시:
질문: 왜 얼음은 물에 뜰까요?
사실들:
1. 얼음의 밀도는 물보다 낮습니다.
2. 물은 얼 때 팽창합니다.
3. 얼음의 결정 구조는 물 분자 사이에 공간을 만듭니다.
질문: 왜 바나나는 익으면서 달아질까요?
사실들:이 프롬프트를 PLM에 입력하면, 모델은 다음과 같은 지식을 생성할 수 있습니다:
지식 1:
1. 바나나에는 녹말이 포함되어 있습니다.
2. 바나나가 익으면서 녹말이 당으로 변환됩니다.
3. 에틸렌 가스가 바나나의 숙성 과정을 촉진합니다.지식 2:
1. 바나나의 색이 변하는 것은 클로로필의 분해와 관련이 있습니다.
2. 숙성 과정에서 바나나의 세포벽이 약해집니다.
3. 익은 바나나에는 과당, 포도당, 자당이 증가합니다.Step 2: 지식 통합 및 답변 생성
이제 생성된 지식을 통합하여 최종 답변을 만듭니다. 이 과정에서 새로운 프롬프트를 사용할 수 있습니다:
다음 정보를 바탕으로 "왜 바나나는 익으면서 달아질까요?"라는 질문에 답하세요:
- 바나나에는 녹말이 포함되어 있습니다.
- 바나나가 익으면서 녹말이 당으로 변환됩니다.
- 에틸렌 가스가 바나나의 숙성 과정을 촉진합니다.
- 익은 바나나에는 과당, 포도당, 자당이 증가합니다.
- 숙성 과정에서 바나나의 세포벽이 약해집니다.
답변:이에 대해 모델은 다음과 같은 최종 답변을 생성할 수 있습니다:
바나나가 익으면서 달아지는 이유는 다음과 같습니다:
1. 녹말의 당화: 바나나에 포함된 녹말이 숙성 과정에서 당으로 변환됩니다. 이 과정에서 과당, 포도당, 자당과 같은 단순당의 양이 증가합니다.
2. 에틸렌 가스의 역할: 바나나가 생성하는 에틸렌 가스는 숙성 과정을 촉진합니다. 이 가스는 녹말을 당으로 변환하는 효소의 활성을 높입니다.
3. 세포 구조의 변화: 숙성 과정에서 바나나의 세포벽이 약해지면서, 당 분자들이 더 쉽게 감지될 수 있게 됩니다. 이로 인해 바나나의 단맛이 더 강하게 느껴집니다.
이러한 복합적인 과정을 통해 바나나는 익으면서 더 달고 부드러운 맛을 갖게 됩니다.이 방식을 통해 모델은 단순히 질문에 직접 답하는 것보다 더 풍부하고 정확한 정보를 제공할 수 있습니다. 또한, 생성된 지식을 중간 단계로 활용함으로써 답변의 근거를 명확히 제시할 수 있어 신뢰성도 높아집니다.
