Self-Consistency Improves Chain of Thought Reasoning in Language Models (2023)

✔ Basic Info

📌 Self-Consistency Improves Chain of Thought Reasoning in Language Models (2023)
🔗 https://arxiv.org/abs/2203.11171

✅Abstract

• 기존 CoT 문제점 : 하나의 추론 경로만 선택하는 그리디 디코딩 방식 → 복잡한 문제에서는 다양한 사고 방식 반영이 어려움
• 해결 : Self-consistency 라는 방법을 도입
  • 여러 다양한 추론 경로를 모델에서 샘플링한 뒤
  • 그 경로들이 도달한 최종 답을 모아서 가장 일관된 답을 선택하는 방식.

여러 사고 경로 중 결론만 모아서 투표로 가장 일관된 정답을 뽑는 방법으로 기존 CoT 방법론 개선

실험 결과, 널리 사용되는 산수 및 상식 추론 벤치마크에서 압도적으로 좋은 성과 달성

✅Introduction

LLM의 추론 능력의 한계: 언어 모델들은 다양한 NLP 작업에서 놀라운 성공을 보여주었지만, 추론 능력에서는 한계가 보임. 단순히 모델 규모를 늘리는 것만으로는 극복할 수 없었음.

CoT prompting: 언어모델이 작업을 해결할 때 사람이 사용할 수 있는 추론 과정 모방함. CoT 프롬프팅은 다양한 다단계 추론 작업에서 모델 성능 크게 향상시킴

CoT 의 greedy 디코딩 단계 한계를 해결하기 위해 Self-Consistency 방법 도입
Self Consistency: LLM에게 다양한 Chain-of-Thought 을 여러 개 샘플링하게 한 뒤, 그 추론들이 도달한 최종 답들 중에서 가장 일관된 정답(가장 많이 등장하는 답)을 선택하는 방식.

✅Self-Consistency

Example (예시로 설명)

입력

질문: Janet의 오리들이 하루에 16개의 알을 낳습니다. 그녀는 매일 아침 식사로 3개를 먹고, 친구들을 위해 4개로 머핀을 굽습니다. 그녀는 남은 알을 개당 $2에 판매합니다. 그녀는 매일 얼마를 벌까요?

프롬프트: 질문과 함께, 추론 과정이 포함된 수동 작성된 Few-shot 예시들이 입력으로 제공

• 출력 (샘플링): 그리디 디코딩 대신 샘플링(예: T=0.7,k=40을 사용하여 40개의 경로 샘플링)을 수행하면, 여러 개의 다른 시퀀스가 생성됩니다. 이 단계에서 생성된 다양한 추론 경로 ri 는 모델이 정답 ai 에 도달하는 데 사용된 일련의 토큰 시퀀스이며, 마지막 문장에서 구문 분석되어 최종 답변 a 가 된다
  
• 최종 출력 (집계):
  • 샘플링된 답변 ai 중에서 가장 자주 등장한 답변(가장 일관된 답변)을 선택하는 다수결 투표를 통해 최종 답을 결정
  • 만약 $18이 가장 많이 나왔다면 그것이 일관되게 나온 답이니, 최종 출력은 $18

기존 그리디 디코딩 CoT는 잘못된 답을 제공했지만, self-consistency는 다양한 경로 샘플링을 통해 오류를 수정할 수 있다.

✅Method

Self-Consistency 는 크게 세 과정으로 이루어진다

1. CoT 프롬프팅: Chain-of-Thought 으로 prompting 사용하여 언어 모델에 질문과 함께 수동으로 작성된 CoT 예시 세트를 제공

2. 다양한 추론 경로 샘플링: CoT 프롬프팅에서 사용되는 greedy 디코딩 대체해 다양한 후보 추론 경로 세트를 생성. 이때 샘플링 할때 온도 샘플링(temperature sampling), top-k 샘플링, nucleus 샘플링 등을 사용

   1. 온도 샘플링 (Temperature Sampling)

   • 온도 T를 사용하여 언어 모델이 예측한 토큰 확률 분포를 조정
   • T 값이 높을수록 확률 분포가 더 평탄해져서, 확률이 낮은 토큰이 선택될 가능성이 높아지고, 결과적으로 생성된 텍스트의 다양성이 증가
   • 반대로 T 값이 낮을수록 분포가 더 날카로워져 모델의 가장 확실한 예측에 가깝게 됨. 그리디 디코딩은 T→0에 가까운 극한

   2. Top-k 샘플링

   • 모델이 예측한 다음 토큰 확률 분포에서 확률이 가장 높은 상위 *k*개의 토큰만을 유지, 나머지 토큰은 무시한 채 이 k개 중에서만 샘플링을 수행
   • k를 제한함으로써 매우 확률이 낮은 엉뚱한 토큰이 선택되는 것을 방지 → 그리디 디코딩보다는 높은 수준의 무작위성과 다양성을 허용

   3. Nucleus 샘플링 (Top-p sampling)

   • 누적 확률이 p에 도달할 때까지 확률이 높은 토큰들만 선택하여 샘플링 풀을 구성하는 방식입니다.
   • p는 0과 1 사이의 값으로, p 값이 1에 가까울수록 더 많은 토큰을 포함하고 다양성이 높아집니다. 샘플링 풀의 크기가 고정된 k가 아니라 문맥에 따라 동적으로 변한다는 장점

3. 답변 집계 (Aggregation): 각 추론 경로는 다른 최종 답변으로 이어질 수 있으므로, 샘플링된 추론 경로들 중 최종 답변 세트에서 가장 일관된 답변을 찾는다

ri: 그 샘플의 추론 경로 전체(CoT 시퀀스)

ai: 해당 추론 후 최종 답

A. 다수결로 답변 내놓는 방법

이런 (ri,ai) 쌍을 샘플링한 후, self-consistency는 ri에 대해 주변화(marginalization)를 적용하며 ai 에 대한 다수결 투표를 통해 가장 "일관된" 답변 a를 선택하는 것을 의미함

ai 와 a 가 같으면 1, 다르면 0을 반환하므로, 얼마나 일관된 특정 답이 나오는지 계산 가능

B. 가중치 부여해서 답변 내놓는 방법

전체 CoT+답 시퀀스가 토큰당 평균적으로 얼마나 정답과 가까울지 (그럴듯한지)를 나타내는 점수

해당 CoT+답 시퀀스의 자연스러움을 토큰 길이에 관계없이 공정하게 비교하는 방식

✅Experiments

1️⃣실험구성

• 데이터셋
  • 산술적 추론: Math Word Problem Repository (AddSub, MultiArith, ASDiv), AQUA-RAT, GSM8K, SVAMP
  • 상식적 추론: CommonsenseQA, StrategyQA, AI2 Reasoning Challenge (ARC)
  • 기호적 추론 (symbolic reasoning)
    • last letter concatenation: 단어들의 끝 문자만 모아서 출력하는 task
    • Coinflip: 동전의 초기 상태와 몇 번 뒤집어졌는지 정보를 준 뒤, 마지막 동전의 상태를 맞추는 task
• 샘플링 방식
  • UL2-20B, LaMDA-137B
    • temperature sampling: T=0.5
    • top-k truncation: k=40
  • PaLM-540B
    • temperature sampling: T=0.7
    • top-k truncation: k=40
  • GPT-3
    • temperature sampling: T=0.7
    • top-k truncation: 사용 안 함

2️⃣결과분석

• 결과는 baseline 을 기본 greedy-decoding 기반으로 한 CoT-prompting 을 비교군으로 삼아 다양한 테스크 비교 분석
• 산술 추론(Arithmetic Reasoning) - UL2, LaMDA, PaLM, GPT-3 모두 self-consistency 가 고성능

• 상식적 추론과 기호적 추론 (마찬가지로 네개 LLM 에서 고성능, 그리고 6개의 Result 중 5개 SOTA)

• 샘플링된 추론 경로 수에 따른 self-consistency의 정확도를 CoT-prompting과 비교한 그래프

• 이 밖에 기존 그리디 방식 CoT 방법론을 적용시 LLM 의 성능이 낮아지는 경우 Self-Consistency 로 성능이 향상되기도 했다. 이는 Self-Consistency 의 우수성을 다시 한번 더 보여준다

3️⃣다른 방법론들과 비교

아래 새 방법론과 비교시 전부 더 우수

☑️Sample-and-Rank

여러 개의 추론 경로 샘플링 → 순위 매기기 (로그 확률에 따라 Rank) → 가장 높은 확률 가진 시퀀스 답변 선택

그러나, CoT 에서 결과 확률이 높다고 가장 올바른 답 아닌 경우 많음(단점)

☑️Beam Search

매 토큰에서 확률 가장 높은 상위 k개 경로 유지 → 확률 가장 높은 문장을 찾는 알고리즘

Greedy 방식과 비슷하나, Greedy 는 단 하나의 토큰 선택하지만 Beam Search 는 상위 여러개 경로를 유지한다는 점 존재

☑️Ensamble-based

✅Additional Studies

• 방법론의 다양한 성질 검증

• Robustness: 예상치 못한 변화가 발생해도 모델이 일관된 결과를 내는 성질을 가질때 모델이 로버스트 하다고 함

  • Self-Consistency 방법론은 샘플링 방법과 스케일링 방법 변동에도 공통적으로 높은 성능 보여줌
  • Self-Consistency 방법론은 불완전한 prompt 에도 자연스러운 결과 도출 능력 높음
  • 모델의 답변 일관성과 정확도의 비례적 상관관계 보임

✅Related Work

기존의 추론 개선 연구와 차별점: 기존 연구들은 주로 산술, 논리, 상식 추론 작업에 대해 특화된 접근 방식에 초점을 맞춤. 반면, self-consistency는 추가적인 감독 학습이나 파인 튜닝 없이 광범위한 추론 작업에 적용 가능 →기존의 CoT 프롬프팅 성능을 실질적으로 향상

Sampling 및 Re-ranking 연구와의 차별점:

• Self-consistency는 이전 CoT 와 다르게 추가적인 훈련, 보조 모델, 파인 튜닝, 또는 인간 주석이 필요 없는 완전히 비지도 학습
• Self-consistency는 모델의 디코더에서 샘플링을 수행하여 추론 경로에 다양성을 도입 → 개방형 텍스트 생성에 일반적으로 사용되던 샘플링 전략을 고정된 답을 가진 추론 문제에 적용
• Self-consistency는 단일 언어모델 (LLM) 에서 작동하는 self-ensemble 방식

추론 경로 추출 연구와의 차별점:

• 추가 훈련 없이 디코더에서 샘플링해서 추론 경로 생성과 최종 답변 생성
• 이후 일관된 답변 복구하는 간단한 접근 방식

✅Conclusion

• 간단하지만 효과적인 방법을 제공한다.
• 규모가 다양한 네가지 산술 및 상식 추론 작업 정확도 크게 향상시킴.
• 추론 작업 수행시 합리적 근거 수집에 유용하며 불확실성 추정치의 가능성을 제공하기 대문에 모델 보정 개선하는데 도움됨

한계점 : 계산 비용이 많이 듦, 다양한 추론 경로 가능성을 열어놓기 때문에 과도한 비사실적 추론 경로에 대한 검증 부족, 단일 추론에서도 높은 정확성을 달성시킬 수 있게 발전시킬 수 있어야 한다

☑️Sum-up (Opinion)

직관적이고 간단하면서 CoT 성능을 효과적으로 높일 수 있는 방법론이다. 인간의 추론 및 의사결정 패턴을 모방했음을 알 수 있고, 이는 대부분의 혁신적인 딥러닝 논문의 근간임을 이쯤되면 알 수 있다.

그렇기에, LLM 관련 문제들의 경우 인간의 사고방식을 아이디어로 많이 차용한다는 점이 이 논문에서도 보인다. 가령, 인간 역시 어떠한 문제를 해결할때 다양한 사고과정 경로를 통해 다양한 답을 도출 후 → 고르는 방식이기에 이를 차용한듯.