[논문 리뷰] Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

Abstract

• 인간 지능은 cognitive synergy라는 것을 활용함. 서로 다른 마음이 협업할 때 superior outcomes를 낸다.
• 이에 착안하여 단일 LLM을 cognitive synergist로 변환하는 Solo Performance Prompting (SPP) 제안
• 단일 LLM에 fine-grained persona를 넣어서 problem solving을 시키는게 좋은 성능을 보였다.
• Trivia Creative Writing, Codenames Collaborative, Logic Grid Puzzle 에서 평가하였다.
• GPT-4와 같은 크고 좋은 모델들에게만 이런 능력이 나타났다.

Introduction

• 인간 지능이 cognitive synergy를 활용하는 방안처럼 단일 LLM에게도 multiple persona를 주는 방식을 제안한다.
• 단일 LLM이 필요한 페르소나를 동적으로 식별하게 한다. 그 페르소나들에는 domain expert, target audiences들을 포함한다.
• 여러 마음의 강점들을 통합하여 문제 해결력을 향상시키려고 한다. 주로 factual hallucination을 해결하려고 한다.

Solo Performance Prompting (SPP)

• 다음과 같은 방식으로 동작한다.
  • Persona Identification
    • 필요한 persona들을 식별하고 initialization을 한다.
  • Brainstorming
    • 각 persona가 자신의 전문석에 기반한 지식을 제안한다.
  • Multi-Persona Iterative Collaboration
    • initial draft를 작성하고 각 domain expert or target audiences를 포함한 persona들이 feedback을 주고 수정한다.
• 이렇게 했을 때, factual hallucination을 줄일 수 있다.
• prompt에 high-level instruction과 demonstration examples를 포함한다.

Experiments

Setting

• Trivia Creative Writing, Codenames Collaborative, Logic Grid Puzzle 에서 평가하였다.
• 이 중 Trivia Creative Writing, Codenames Collaborative는 저자들이 만든 Task로 이 방법론이 잘 적용될 수 있는 Task이다.
• Trivia Creative Writing: 모델이 내부적으로 다양한 정보를 획득하고 통합해야 하는 knowledge-intensive 작업

  • writing을 하는 task인데 다양한 정보가 필요하고 constraints들이 존재한다.

  • TriviaQA에서 1000개의 Question을 가져왔다.

  • evaluation metric으로는 automation이 필요해서 string matching을 사용하였다.

    

• Codenames Collaborative: 창의적 추론과 theory of mind 능력이 필요한 knowledge+reasoning 작업

  • 단어 맞추기 게임

  • 50 instances (너무 작다는 생각이 든다)

    

• Logic Grid Puzzle : 복잡한 multi-step reasoning

  • 추론 퍼즐 게임

  • 200 instances

    

Results

• SPP가 outperform 하였다.

Analysis

• SPP는 LLM의 knowledge와 reasoning abilities를 모두 효과적으로 향상시킴
• LLM은 zero-shot 방식으로 유용한 페르소나를 효과적으로 식별할 수 있음
• 페르소나는 particular tasks와 밀접하게 연관됨
  • 예를 들어, Logic Grid Puzzle의 경우 LLM은 Logic Puzzle Expert를 자동으로 식별하는 경우가 빈번했다.
• Dynamic, fine-grained 페르소나가 fixed, general 페르소나보다 더 효과적임
  • 한편, persona에 대해 detailed profile을 주는 것도 해보았는데 (Xu et al., 2023) 성능이 오르지 않았다.
  • 지금의 persona 방식으로 충분하다는 결론을 내렸다. → 더 탐구해볼 가치가 있어보인다.
• SPP는 최소한의 demonstration examples로도 좋은 성능을 보임
• 출현하는 cognitive synergy는 GPT-4와 같은 더 능력 있는 모델에서만 나타나며, 이는 인간 발달과 흥미로운 유사성을 보임
  • 인간도 어렸을 때는 이러한 능력을 활성화 시키지 못하는데… 커서는 할 수 있다. 이런 설명을 저자들이 한다.

Limitations

• Fine-grained 페르소나가 할당되어도 답변이 여전히 정확하지 않을 수 있음
• 페르소나 할당이 domain knowledge를 향상시키는 정도는 추가 정량화가 필요함
• Evaluation Criteria 가 너무 작고, 따라서 cherry picked되었을 수도 있다는 우려가 존재하낟.

Takeaways

• multi-step reasoning, factual hallucination 문제가 여전히 존재한다라는 문제 정의 이후 method를 먼저 제안하고 그 타당성을 제공하기 위해 저자들이 evaluation metric과 소규모의 benchmark를 만든 것이 흥미로웠다.
• 어찌보면 당연하지는 않는데, 기존에 있던 benchmark들을 변형하고 이론적으로 그럴 듯 한 evaluation metric들을 제시함으로써 본인들의 방법론의 성능을 제안하였다. 이전 논문에서도 비슷한 방법들을 본적이 있는데 제안한 방법론이 특정 Task 특정 문제에서만 잘 푼다면 그것들로 성능을 재고 contribution을 주장하는 것도 좋은 방법인 것 같다.
• Multi-agent LLM보다 Computational Cost를 줄일 수 있다는 점도 생각 할만한 점인 것 같다.