[논문 리뷰] Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate

Abstract

• LLMs의 general language tasks는 많이 성능이 올라왔지만, complex reasoning tasks에서는 아직 한계를 보인다.
• Self-reflection (자기 반성) 과 같은 방법론들이 제시되었지만, 여전히 한계가 명확히 존재한다. 이 한계를 저자들은 DoT (Degeneration of Thought)로 정의하였다.
  • LLM이 초기 답변에 확신하는 경우 self-reflection을 해도 의미있는 반성이 되지 못함.
• Multi-Agent Debate (MAD) framework로 이 같은 한계를 극복한다. 여러 에이전트가 토론하고 judge agent가 최종 결정을 내리는 방식
• commonsense machine translation, counter intuitive arithmetic reasoning에서 평가를 진행함

Introduction

• self-reflection은 LLM의 self-evaluation capability에 highly dependent 함. 또한, 초기 답변에 확신을 가지면 유의미한 반성을 하지 못함.
• DoT는 다음과 같은 3가지 원인을 생각할 수 있음
  • Bias and Distorted Perception
    • LLM의 bias, distorted perception에 영향
  • Rigidity and Resistance to Change
    • 만약 LLM이 변화를 좋아하지 않는 경향이 있다면 한계를 가진다.
  • Limited External Feedback
    • External feedback이 부족하다.
  • 결국은 3가지 모두 비슷한 이야기를 하고 있다. 혼자 반성하는 과정이기 때문에 야기될 수 있는 문제
• Multi-Agent Debate Framework를 이와 같은 문제들을 해결하기 위한 새로운 framework
• 2가지 evaluation task에서 좋은 성능을 보였고 특히 Commonsense MT에서는 GPT-3.5-turbo에 MAD를 적용한게 GPT-4를 능가하였다.

Multi-Agent Debate Framework

Debaters

• N명의 토론자가 프레임워크에 참여 (주로 2명 사용)
• 각 토론 반복에서 토론자들은 정해진 순서대로 발언
• 이전 토론 기록(H)을 바탕으로 논쟁 전개: Di(H) = h
• 긍정측(Affirmative) 토론자와 부정측(Negative) 토론자로 역할 구분
  • 긍정 토론자가 초기 주장 제시
  • 부정 토론자가 반박 및 대안 제시
  • 이후 순차적으로 반박하며 토론 이어나감
• 토론자들은 서로 다른 관점과 주장을 제시하도록 설계됨

Judge

• moderator 역할
• 토론 과정을 지켜보고 관리하고 결정하는 역할
• 식별 모드(Discriminative Mode): 현재 반복에서 모든 토론자가 논쟁을 마친 후 올바른 해결책 도출 여부 결정
  • 해결책 도출 시 토론 종료(True 반환)
  • 미도출 시 토론 계속(False 반환)
• 추출 모드(Extractive Mode): 반복 제한 내 올바른 해결책 도출 실패 시 전체 토론 기록에서 최종 해결책 추출

Summary

• 긍정, 부정 perspective를 둠으로써 서로 다른 시각을 바라볼 수 있다.
• 한 agent의 bias를 완화할 수 있다.
• Encouraging divergent thinking
• scalability

Experiments

Commonsense Machine Translation

• 중국어 → 영어 번역의 모호성을 평가하는 데이터셋
  • lexical, contextless/contextual syntactic ambiguity
    • 어휘적 모호성: 200개 예제 (예: "吃掉" - "먹다" vs "파괴하다")
    • 문맥 없는 구문적 모호성: 450개 예제
    • 문맥적 구문적 모호성: 350개 예제
  • 표면적으로 직관적인 번역이 실제로는 잘못된 경우가 많음에서 출발
  • require commonsense knowledge

Counter-Intuitive Arithmetic Reasoning

• 말 그대로 직관적이지 않은 문제들을 의미한다. 함정이 숨어있는 수학문제들이 주를 이룬다.
• (Kong et al., 2022), https://www.geeksforgeeks.org/puzzles/ 에서 200개의 questions를 가져왔다.
• Resistance to Intuition : 표면적 표현의 함정에 빠지지 않기
• Multi-Step Reasoning : 엄격한 다단계 추론 과정 필요

Compared Methods

• Self-Reflect (자기 성찰): LLM이 만족할 때까지 번역 개선
• Rerank: 품질 추정 도구로 최상의 번역 선택
• MAPS: 번역 전 분석을 수행하는 인간 번역 과정 모방
• CoT : "단계별로 생각해 봅시다" 트리거 문장 사용
• Self-Consistency: 다수결 투표로 최종 답변 결정

Evaluation Criteria

• Common MT
  • 자동 지표: COMET, BLEURT
  • 인간 평가: 전문 번역가가 1~5점 척도로 번역 품질 평가
• Counter-Intuitive AR
  • 정확도(ACC): 올바른 예측의 비율

Results

• Common MT에서 MAD는 GPT-3.5-Turbo를 백본으로 사용해도 GPT-4보다 우수한 성능 달성
  

• Counter-Intuitve AR에서는 GPT-4(51%)에는 미치지 못했으나 GPT-3.5 기반 모델 중 최고 성능
  

Analysis

• Self-reflect와 비교했을 때 DoT가 mitigate 되었는지 분석
  • Bias는 내려가고 Diversity는 올라갔다.
  • 성능을 bias로 보는게 맞는지는 모르겠지만, error rate 감소
  • diversity 는 처음 답변과 최종 답변 두개의 candidate response를 바탕으로 한 self_BLEU로 측정
• Judge
  • debater의 성능이 judge의 성능보다 중요하더라
  • strong debater + weak judge > weak debater + strong judge
  • judge는 같은 backbone model의 debater를 선호하는 경향이 있음
• debater
  • N≥3 이 되면 오히려 너무 컨텍스트가 길어져서 성능 소로 이어지더라.
  • 적절한 수준의 대립이 최고 성능 달성
  • adaptive break 의 경우가 성능이 제일 좋았다. 왜냐하면 초기 단계에서 고품질의 대답이 나오는 경우가 있었음. 고정적인 break로 하면 이런 것들을 놓친다.

Takeaway

• 기존의 self-reflection을 중심으로 한 complex reasoning tasks에서 문제를 찾고 그것을 해결하려고 한 아이디어가 좋았다.
• 저자들이 새로 제시한 counter-intuitive arithmetic reasoning이라는 task에서 저자들의 방법이 제일 좋았다라고 제시했는데, 이처럼 자신들이 제시한 방법론을 잘 적용할 수 있는 evaluation tasks or benchmark를 만드는 세팅이 좋았다.
• 문제를 잘 쪼개서 정의하고 evaluation criteria도 잘 쪼개서 정의하고 각각의 evaluation criteria에서 성능 향상을 보였다는 세팅이 좋았다.
• self-reflection의 문제인 limited external feedback, DoT를 해결하기 위해 일부러 대립하는 에이전트들을 넣은 아이디어가 좋았다.
• judge가 같은 backbone model의 debater를 선호하는다는 경향 발견
• divergent thinking or multi-perspective가 필요한 tasks에서는 multi-agent system이 도움된다는 점
  • multi-perspective 의 경우 domain-expertise일 수도 있고, multi-persona, multi-value priority 일 수도 있음

Limitations

• computational costs
• long context
• 토론 framework의 구체적인 구성
• debater와 judge도 결국 같은 백본 모델에서의 프롬프트만 다르게 한 것. 엄청 diverge해지지는 않음 self-reflect에서 한 스텝 정도만 나아간 느낌