https://arxiv.org/pdf/2408.15879
일단 acl논문이다.

Abstract

일단 LLM이 다양한 분야에 쓰이고 있다.
(credit card, Insurance 등등. 이때 insurance policy나 investment plan을 선택하도록 돕는다.)

We present a sophisticated multi-agent framework wherein a
consortium of agents operate in collaborative manner.

1 Introduction

현재, 다양한 assistive agent들이 많이 쓰이고 있다.
(보험, 여행 설계 등등)

하지만,

문제 : conducting a successful conversation that can motivate
the user to take a preferred action requires more than human-
like responses.

해결방법 :
1. 유저의 무드를 계속해서 분석할 수 있어야 함.
2. 유저의 저항을 분석할 수 있어야 함.
3. 아이디어에 대한 유저의 경향성을 파악할 수 있어야 함.

결국엔, 문제가 이것임.
그렇다면 어떻게 구현했을까?

1.1 Persuasion

• persuasion의 정의
  : 특정한 agenda에 관해 그들의 belief를 induce하는 것!

• persuasion의 예시
  : 소비자의 선택을 독려하거나, 정치적인 캠페인을 독려하거나.

• persuasion의 구성요소
  1) user-directed : persuader <> target audience 간의 direct 상호작용! -> 논문에선 여기에 좀 더 초점!
  2) vicarious message : 직접적인 고려 없이 indirect 상호작용!

1.2 Resistance to Perusasion

• resistance의 정의
  : 그들의 행동,태도,믿음 등에 영향을 끼치는 행위들에 withstand하는 것!

• resistance의 technique

1. prior attitude 불러일으키기
2. selective exposure
3. biased processing
4. counter-arguing

: 근데 하지만 이러한 메커니즘은 아직 덜 발달됨.

2 Related Work

Carlos et al. [4]

Simon et.al [2] analyses the ability of LLMs to emulate
persuasion dynamics and achieve opinion change in another LLM
agent with a persona.

이전 연구의 특징 :
moral language와 lexical complexity로 했었음.

2.1 Our Contributions

일단 persuasion을 위한 framework 만들기
=> 계속해서 user의 감정 + 저항 방법 + 사회적인 노출에 대해 분석!

3 Setup

일단, chat application에서는 4개의 different agnet를 설정했다.
Conversation agent, Advisor agent, Moderator and retrieval agent.
대화 시스템은 여러 에이전트로 구성된다.

Sales Agent: 최종 응답을 결정하는 핵심 에이전트
Advisor Agent & Retrieval Agent: Sales Agent에 정보를 제공
Analyzer Agent: 사용자의 감정 및 저항 전략을 분석
Strategist Agent: 전문가의 규칙이나 LLM을 활용해 설득 전략을 생성
Fact Checker: 최종 응답의 정확성을 검증

-> 결국 이렇게 다양한 에이전트가 협력해서!

3.1 Sales Agents

은행 에이전트: 신용카드를 추천하고 프리미엄 카드 가입을 유도
보험 에이전트: 사용자의 의문을 해소하고 적절한 보험 상품을 추천
투자 상담 에이전트: 전통 vs. 현대적 투자 방식의 차이점을 설명하고 투자 유도
사용자가 관심을 보이면 관련 URL을 제공하며, 구매 여부가 설득 성공 여부의 주요 지표로 측정된다.

3.2 User Agents

LLM을 활용해 25가지 서로 다른 인격(Persona)을 생성
인구통계, 재정, 교육 수준 등을 달리해 다양성을 확보
무작위 감정 및 동기를 부여해 저항 패턴을 변화
주제별 기억 시스템(Belief System)을 보유해 반복된 대화에서도 변화된 반응을 보임

3.3 Evaluation Metrics

3.3 평가 지표 (Evaluation Metrics)
설득 효과는 다음 세 가지 지표를 통해 측정된다.

• 설문 조사 (Surveys)
  사용자 관점에서 제품, 혜택, 브랜드, 구매 관심도의 변화를 측정
  대화 전후 정량적 질문이 포함된 설문을 진행하여 변화량을 분석

• 행동 지표 (Action-based Metric)
  사용자가 선택한 구매 결정 옵션을 분석
  선택지: 구매, 웹사이트 방문, 추가 정보 요청, 구매하지 않음
  사용자가 구매 결정을 내리면 해당 도구를 호출하여 기록

• 언어 분석 (Language Analysis)
  대화를 제3자의 관점에서 분석하여 설득력을 평가
  LLM을 활용해 사전 정의된 평가 기준을 적용하여 측정

세 가지 지표의 가중 평균을 통해 최종 설득력 점수를 산출
행동 지표(Action)가 가장 높은 가중치를 가지며, 그다음 설문 조사(Survey), 마지막으로 언어 분석(Language Analysis)이 반영됨

4 Experiment

총 300개의 대화를 생성하였으며, 이는 25명의 사용자 에이전트와 3명의 판매 에이전트 간에 이루어졌다. 사용자 에이전트의 감정과 원인은 무작위로 설정되었으며, 비교 벤치마크로 75개의 중립 감정 대화(3×25)도 수행되었다.

• 각 세션의 구성 요소:

사전 설문조사: 사용자의 기존 신념을 측정
최대 20턴의 대화: 사용자와 판매 에이전트 간의 대화
사후 설문조사: 사용자의 신념 변화 측정
사용자 지식베이스 업데이트: 대화 후 사용자의 신념 시스템을 반영

• 모델 사용 및 대화 종료 조건
  사용자 에이전트: GPT-4o (제한 초과 시 GPT-4로 대체)
  판매 에이전트: GPT-4o-mini 및 GPT-3.5-turbo
  기타 지원 에이전트: GPT-4o-mini
  구매 결정은 사용자 에이전트가 함수 호출을 통해 수행

• 세션 종료 조건:

20턴을 초과하지 않는 대화
사용자가 구매 결정을 내린 경우

• 구매 결정 옵션:
  Buy: 성공적인 설득
  Visit Site, Need More Details: 부분적 성공 (구매 의향 유발)
  No Buy: 설득 실패 (하지만 사후 설문에서 긍정적인 인식 변화 가능)

• 결과 분석 및 후속 조치
  설문조사 반복: 세션 종료 후, 사용자에게 동일한 질문을 포함한 사후 설문 실시
  지식베이스 업데이트: 사용자 신념 시스템 진화 반영 (후속 대화에 영향)
  LLM 분석: 전체 대화를 평가하여 판매 에이전트의 설득력 및 사용자 인식 변화 점수화
  6턴 이하의 대화는 설득력 측정에서 제외되지만, 감정이 설득에 미치는 영향 연구에는 포함됨