The Role of CoT(Chain of Thoughts)

paradeigma·2024년 12월 11일

AI 학습

목록 보기

2/2

AI 서비스 개발 업무를 진행하면서 활동적이고 유능한 연구진들, 혹은 해외 개발자분들의 ESSAY나 JOURNAL 혹은 책의 내용을 정리하는 공간으로 사용하고 있습니다. 단순 번역보단 얕은 요약으로 진행할 예정이며, 출처는 하단에 적어둘 것입니다.

CoT와 Re2 프롬프트 엔지니어링

CoT(Chain of Thought)

문자 그대로 CoT(Chain of Thought) 프롬프트 기법은 언어 모델에 query를 입력할 때 단계적으로 사고할 것을 명시하는 방법입니다. 명시 방법은 크게 두 가지로 나뉘는 데 각각은 zero-shot version과 few-shot version으로 나뉩니다.

zero-shot version: 프롬프트에 'think step-by-step'이란 어구를 추가합니다.

few-shot version: 프롬프트에 문제를 단계적으로 해결한 예시를 삽입합니다.

Re2(Re-reading)

Re2 기법은 단순히 프롬프트에, 'Read the question again' 또는 'Read again'을 달고 앞에서 했던 질문을 다시 다는 것입니다. 질문을 다시 함으로써 모델은 프롬프트를 끝까지 읽어봐야만 알 수 있는 맥락 의존적 용어를 끝까지 읽기 전에, 마치 스포일러를 당한 영화를 보는 것처럼 전체 내용과 특정 단어를 겸하여 볼 수 있게 됩니다. 이는 Lstm 모델에서 bidirectional 모델이 의도한 것과 같은 기능을 수행합니다. 나아가 Re2 방식은 매우 쉽게 기존 프롬프트에 적용할 수 있기에 위에서 서술한 CoT 기법과도 간편하게 응용될 수 있습니다.

결과

적용 사례: NuminaMath

NuminaMath는 AIMO라는 AI Math Olympiad에서 리더보드 1등을 기록한 모델입니다. 해당 모델은 세 가지 기법을 적용하여 수학 문제 풀이 모델을 개발하였는데, 이 중에 한 가지 기법이 CoT 기법입니다. 해당 모델의 설계 과정을 설명하는 것이 CoT 기법의 예시가 될 것입니다.

Tool used

모델을 훈련시키기 위한 데이터셋을 구축하는 과정을 2단계로 나누었습니다. 첫 번째는 다양한 수학 문제를 일상어 기반으로 작성하는 것이었습니다. 이는 데이터셋을 구성하는 일반적인 방법입니다.

독창성은 두 번째 기법에서 드러납니다. 두 번째 기법은, 수학 문제와 해답을 작성할 때 자연어와 더불어 파이썬을 통한 수학 문제 해결 전략을 반영시킨 것입니다. 두 번째 전략이 독특한 방법이라 할 수 있는데 파이썬을 통한 수학 문제 해결은 마치 사람에게 공학 계산기를 들려줬을 때 더 다양한 문제를 해결할 수 있는 것처럼, 모델에 대하여 다양한 문제 풀이 전략 학습을 가능케 했습니다. 다시 말해 개념적 추론 단계를 넘어 파이썬을 통한 수치 해석 및 문제 해결이 가능해진 것입니다.

개념적 추론으로 도구를 한정지어놓고 문제를 푸는 것은 단순한 문제 풀이 능력입니다. NuminaMath는 문제 풀이 능력에서 한 발자국 더 나아가 문제 해결 능력을 갖췄다고 볼 수 있습니다. 특정 도구를 정해준 채 문제를 풀이하는 것에서 나아가 스스로 적당한 도구, 다시 말해 개념적 추론과 기계적 계산이란 다양한 도구 중 스스로 적합한 도구를 선택하여 문제를 푸는 문제 해결 능력을 학습한 것이 리더보드 1위를 차지하는데 주요한 동인이 되었습니다.

CoT

두 단계에 해당하는 데이터셋을 구성할 때 모두 CoT 기법을 적용했다고 전해집니다. 전해지는 예시로 볼 때 few-shot-version의 CoT 를 사용한 것으로 보여집니다.

Self-Consistency

LLM을 통한 수학 문제 풀이가 타당한 것인지를 검증하기 위해, 한 문제에 대하여 여러 프롬프트를 제공하여 답을 구성하였습니다. 각각의 프롬프트는 각각의 대답을 만들었을 것이며 이 중에서 majority voting 방식을 통하여 outlier를 제거하였습니다. 이는 머신러닝이나 딥러닝의 앙상블 기법과 유사하다고 볼 수 있습니다.

나아가, 프롬프트를 개선하기 위하여, voting 받지 못한 outlier와 이를 출력해낸 프롬프트를 함께 input으로 줘 프롬프트를 수정하는 전략을 취하였습니다.