최근에 Prompting, Chain-of-Thought를 활용한 Few-shot reasoning을 통한 논문을 내려고 작업하고 있다. 그러면서 제대로 꼼꼼히 읽으려고 보고 있고, 정리해 보았다.

본 논문은 NeurIPS 2022 Main Conference Track에 publish 된 논문으로 아마 많은 분들이 CoT라고 알고 있는 논문이다.

✒️Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(⭐NeurIPS-2022-Main)

43페이지가 되는 Appendix까지 매우 자세하게 정리된 논문으로서 공부하는 분들은 하나하나 번역하면서 끝까지 읽어보길 추천한다. 특히 Appendix에 실제로 어떻게 few-shot exampler text(위의 그림에서 파랑색 부분)을 구성했는지 다 공개해서 정말 좋았다.

---

Abstract

[주요 방법론] Chain of Thought (CoT)

• 중간 추론 단계를 제공해 few-shot inference 시 추론의 방향성을 간접적으로 전달하는 방식으로, 대규모 언어 모델의 복잡한 추론 능력을 크게 향상.
• 몇 개의 Chain of Thought 예제 텍스트인 "Exemplars"를 프롬프트에 제공하여 모델의 추론 능력을 강화

[실험 결과]

1. 세 가지 대규모 언어 모델에서 실험 진행 : GPT-3(InstructGPT) - [350M, 1.3B, 6.7B, 175B]
2. Chain of Thought Prompting이 Arithmetic Reasoning, Commonsense Reasoning, Symbolic Reasoning 작업에서 성능 향상을 보임
3. 여러 Benchmark에서 Stardard Prompt를 능가함
   • PaLM 540B 모델에 8개의 체인 오브 쏘트 예제를 프롬프팅으로 제공
   • 수학 단어 문제(GSM8K) 벤치마크에서 최신 성능(SOTA)을 달성
   • Fine-tuned GPT-3 with a verifier를 능가하는 정확도

---

Chain-of-Thought Prompting : 〈input, chain of thought, output>

위의 하이라이트된 부분이 chain of thought에 해당되는 prompt text이다. 위와 같은 텍스트들은 모델이 추론하는 과정에서 그 추론 과정을 유도하도록 하는 역할을 하고 있다.

Chain-of-Thought 프롬프트의 주요 특징 및 장점

1. 복잡한 문제를 중간 단계로 분해 가능
체인 오브 소트는 다단계 문제를 중간 단계로 분해하도록 모델을 유도합니다. 이를 통해 추가적인 계산 리소스를 할당하여 더 복잡한 추론이 필요한 문제를 해결할 수 있습니다.
2. 모델의 행동을 해석할 수 있는 창 제공
체인 오브 소트는 모델이 특정 답에 도달한 경로를 해석할 수 있게 해줍니다. 이를 통해 추론 과정에서 어디서 오류가 발생했는지 디버깅할 수 있는 기회를 제공합니다. (다만, 모델의 계산 과정을 완전히 특성화하는 것은 여전히 해결되지 않은 과제입니다.)
3. 다양한 작업에 적용 가능
체인 오브 소트 추론은 수학 문제, 상식적 추론, 심볼릭 조작과 같은 작업에 사용할 수 있으며, 원칙적으로 인간이 언어로 해결할 수 있는 모든 작업에 적용할 수 있습니다.
4. 대형 언어 모델에서 간단히 활용 가능
충분히 큰 크기의 기존 언어 모델에 체인 오브 소트 예제를 포함시키는 것만으로 이러한 추론 능력을 쉽게 유도할 수 있습니다.

---

Arithmetic Reasoning

Benchmark

다 기본적이 추론을 필요로하는 산술 문제 대한 답이 있는 데이터셋이다.

1) GSM8K

2) SVAMP

3) ASDiv
4) MAWPS
5) AQuA

Standard prompting & Chain-of-thought prompting

산술추론 Task에 CoT를 적용해 실험하였고, SoTA 달성을 할 수 있었다.논문에서는 Few-Shot Prompt를 Standard Prompting이라고 부르면서 Base Prompt로 하였다. 그리고 CoT Prompt를 추가한 경우를 Chain-of-thought Prompting이라고 하여 실험을 하였다.

위의 경우가 1shot의 예시, 즉 input-output 예시가 1개 들어간 경우이다. 이렇게 구성한 경우가 가장 Base Prompt이다.

위의 경우가 같은 1shot 이지만, chain-of-thought text가 들어간 거로 Chain-of-thought Prompting이다.

🤔 Chain-of-thought Prompt에 해당되는 추론 과정을 담은 예시, text는 어떻게 만든거지? 어디서 왔을까?

저렇게 추론을 유도하기 위해 chain-of-thought text를 넣어주는 건 알겠는데, 문제는 "어디서 저 CoT Text를 가져왔을까?"라는 거다. 실제로 CoT 방법론을 사용할 경우를 생각하더라도 저 CoT Text를 구하는게 문제이기 때문이다.
정답은 논문에 적혀 있는데, 그냥 사람이 직접 만들었다(manually composed)라고 적혀있다. 실제로 8개의 예시에 대한 CoT Text를 만들었는데 Appendix에 아래와 같이 기재되어 있었다.

위의 8개의 example에 있는 CoT 예시글을 만들어서 1shot에 해당되도록 한 것이다. 산술추론에 해당되는 benchmark는