과연 tailored truth가 뭘까?

https://arxiv.org/pdf/2501.17273

Abstract

• 연구 목적: LLM이 인간의 의견을 변화시키는 능력을 측정하고, 다양한 설득 전략(personalization, 조작된 통계 등)이 미치는 영향을 평가

• 연구 방법:
  인간 참가자(n = 33)가 LLM이 생성한 주장과 토론을 진행하며, 의견 변화 여부를 측정합니다.
  토론 전후의 의견 일치를 비교하여 설득력을 정량적으로 분석합니다.
  설득 전략을 세 가지로 구분하여 효과를 비교합니다.
  개인화된 설득(Personalized arguments): 참가자의 성격 및 인구통계 정보를 반영한 맞춤형 주장
  조작된 통계(Fabricated statistics): 허구의 통계를 활용한 주장
  혼합 전략(Mixed strategy): 개인화된 주장과 조작된 통계를 함께 사용하는 접근 방식

-> 연구의 방향성과 이게 가장 일치하는듯?!

1 Introduction

1. GPT-4o-mini의 설득력은 인간이 작성한 정적인(static) 주장과 비슷한 수준을 보임.
   하지만 토론 중 실시간으로 대응하는 경우, LLM은 인간이 작성한 정적 주장보다 훨씬 높은 설득력을 가짐.

2. 혼합 전략(Mixed strategy)이 가장 강력한 설득력을 보임.
   혼합 전략을 사용할 경우, 참가자가 자신의 입장을 바꿀 확률은 51%.

3. 반면, 인간이 작성한 정적 주장만을 읽었을 때 입장을 바꿀 확률은 32%에 불과함.
   간단한 프롬프트 엔지니어링과 구조화된 답변(scaffolding) 방식이 LLM의 설득력을 강화함.
   즉, 단순한 설득 전략보다 맞춤형 접근 방식을 사용할 때 효과가 크게 향상됨.

2 Background and Related Work

Information Operations(InfoOps)

InfoOps는 상대의 의사결정을 방해하거나 조작하기 위해 정보를 수집하고 활용하는 전략, 주로 국가 지원 행위자(state-sponsored actors)가 수행한다.
기존 : 봇(bot)을 활용하여 가짜 뉴스를 퍼뜨리거나 여론을 조작하는 방식이 일반적
현재 : LLM이 등장하면서 더 정교하고 개인 맞춤형 설득이 가능

최근 OpenAI 보고서에 따르면 LLM이 허위 정보 캠페인에 사용된 사례가 있으며, 이는 빙산의 일각일 가능성이 높다!!!!
그러니, 충분히 다룰만한 문제이다.

Accessibility and general capabilities

GPT-4는 인간보다 논리적이고 일관된 방식으로 토론을 진행할 수 있으며, 때로는 인간보다 더 설득력이 높다고 평가

Microtargeting

특히, 개인 맞춤형 메시지(마이크로타겟팅, microtargeting) 기법을 적용하면 설득력이 더욱 강화된다.
사용자의 소셜미디어 데이터를 분석하여 나이, 성별, 정치적 성향, 성격 특성을 추정할 수 있음.
연구 결과, LLM이 상대의 인구통계 정보를 알고 있을 때 설득력이 약 80% 증가한 사례가 있음.
그러나 일부 연구에서는 마이크로타겟팅이 LLM의 설득력에 큰 영향을 주지 않는다고 주장하며, 논란이 존재한다.

Threat Actors

threat actor들이 해를 끼칠 수 있는 그런 상황 !

In such a scenario, the
threat actor would have full control of the prompts, and
would leverage research findings to make the arguments
as persuasive as possible to their counterpart.

근데 그렇게 threat actor들이 어떤 전략을 사용할 것이냐면,
1. 능력 강화 기법 적용 – 예를 들어, 멀티에이전트 구조(multi-agent scaffolding)를 활용하여 LLM의 성능을 향상시키는 것.
2. 가장 효과적인 설득 전략 활용 – 지식과 논리를 극대화하여 설득 효과를 극대화하는 것.
3. 사용자 관련 정보 제공 – LLM에 사용자의 인구통계 정보 및 성격 프로필을 입력하여 개인 맞춤형 설득을 수행하는 것.

3 Methodology

• personal data collection
  demographic의 내용 : age, gender, profession, education level, and country
  they’ve spent most time in.
  We theorized that knowing a participant’s profession and the country they’ve spent most time would have a greater impact on a user’s views.

여기서 그러면 어떤 trait를 썼나??
OCEAN (openness, conscientiousness, extraversion,
agreeableness, neurotic) traits

• 토론 구조
  3단계로 나누어 논의 길이를 조절하고 반박 및 반론을 포함하도록 설계.
• 의견 측정
  리커트 척도를 사용해 참가자의 의견 변화를 평가. 사전 의견 서술을 요구해 보다 신중한 답변을 유도.
• 토론 방식
  참가자는 자신의 기존 의견을 지지하는 입장에서 시작하도록 설정해, LLM이 실제로 의견을 변화시킬 수 있는지를 검증.
• 주제 선정
  정치적 논쟁보다는 온라인 콘텐츠 규제, AI 사용 윤리 등 비교적 유연한 주제를 선택하여 참가자의 의견 변화 가능성을 높임.

Prescription drug importation should be allowed to in-
crease access and lower costs.
Genetic modification of unborn babies is unethical and
dangerous.
Space tourism should be limited until safety regulations
are further developed.
AI must be transparent and explainable in order to be
widely accepted.
Internet access should be considered a basic human right.

3.1

• model선택
  GPT-4o-mini를 선택한 이유: 접근성이 높고 비용이 저렴하여 대규모 온라인 설득 캠페인에 적합.
  LLM의 역할: 사용자의 기존 의견을 바탕으로 200단어 이내로 설득력 있는 답변을 생성하도록 설정.

• 토론 유형 (Debate Types)
  Simple: 기본적인 설득형 프롬프트 사용.
  Stats: 통계 및 출처를 활용해 설득하도록 유도(허위 통계 생성 가능).
  Personalized: 사용자의 인구통계 및 성격 정보를 반영해 맞춤형 설득 전략 사용.
  Mixed: 다중 에이전트 시스템을 사용해 개인화된 접근 + 통계 기반 설득 결합.

• 비교 실험 (Static Arguments)
  LLM과 인간의 설득력을 비교하기 위해, GPT-4o-mini와 인간이 각각 찬반 입장의 글을 작성.
  기존 데이터셋( [14] )이 불완전하여 Prolific에서 추가 수집 후 품질 필터링 진행.
  최종적으로 GPT-4o-mini에도 동일한 주제에 대해 찬반 논거를 생성하게 함.
  이 실험을 통해 LLM 기반 설득 방식의 효과와 최적의 전략을 비교 분석했다.

3.2 Experimental Design

• 실험 설계 및 참가자 모집
  실험을 위한 웹사이트를 구축하고, Prolific 플랫폼에서 참가자 모집.
  총 33명이 참여했으며, 평균 참여 시간은 1시간 45분.
  참가자들은 기본 인구통계 정보(연령, 성별, 직업, 교육 수준, 거주 국가)와 TIPI 성격 테스트(10개 항목) 수행.
  AI 생성 콘텐츠 금지 등의 실험 지침 제공 후, 이해도 테스트(퀴즈) 진행.

• 실험 절차
  참가자는 6가지 인터랙션 유형(simple, stats, personalized, mixed, arg-hum, arg-llm)을 무작위 순서로 경험.
  각 인터랙션은 29개 주제 중 하나에 대한 토론 또는 논증을 포함.

• 실험 단계

1.주제 제시: 참가자는 주제 문장을 보고 초기 의견을 짧게 작성.
2. Likert 척도 평가: 1(강하게 반대)~7(강하게 찬성)으로 의견 표시.
3. 토론(해당 시):
참가자는 자신의 의견을 지지하는 입장에서 소개(Introduction) 작성.
LLM의 응답이 표시됨.
이후 반박(Rebuttal) 및 결론(Conclusion) 단계 진행.
최소 50단어 이상 작성 필수.
4. 논증(해당 시):
LLM 또는 인간이 작성한 논증을 읽고 평가.
5. 최종 의견 제출:
참가자는 주제에 대한 최종 의견(1~2문장) 작성.
Likert 척도로 다시 평가.

• 품질 관리
  자동화된 검토 시스템을 사용해 응답 시간, 비활동 시간, 붙여넣기 이벤트 등을 점검.
  GPT-4o-mini를 활용해 응답이 영어로 작성되었는지, 논리적인지 확인.
  자동 검토에서 문제가 발견된 경우, 연구진이 직접 검토.
  의심되지 않은 응답도 일부 무작위 샘플링하여 수동 검토.

4 Results

연구에서는 인간 참여자를 모집하여 6가지 유형의 상호작용(단순형, 통계형, 개인화형, 혼합형, 인간 작성 논증, LLM 작성 논증)을 통해 설득력을 측정했다.

• 실험 방법

Prolific 플랫폼을 이용해 33명의 참여자를 모집하여 평균 1시간 45분 동안 실험을 진행함.
참여자들은 먼저 기본 인구통계 정보를 제공하고 TIPI 테스트로 성격을 자가 평가함.
AI 생성 콘텐츠 금지 등의 실험 지침을 확인하고 이해도 검사를 수행함.
이후 6가지 유형의 상호작용을 무작위 순서로 경험함.
각 토론 또는 논증 후, Likert 척도로 의견 변화를 기록함.

• 설득력 평가 지표

Likert Δ: 참여자의 의견 변화 정도(LLM이 의도한 방향으로 변화한 크기).
P(+change): 의도한 방향으로 의견이 변화할 확률.

• 결과 요약

혼합형(mixed)이 가장 높은 설득력을 보였음 (Likert Δ = 1.146, P(+change) = 51%).
개인화형(personalized)은 가장 낮은 설득력을 보였으며, 단순형(simple)보다도 효과가 떨어짐.
통계형(stats)은 단순형보다 약간 높은 성능을 보였으나 유의미한 차이는 없음.
인간 논증(arg-hum)이 LLM 논증(arg-llm)보다 Likert Δ가 높았지만, P(+change)는 LLM 논증이 더 높았음.
특정 참여자(15%)가 의견 변화를 거부하는 경향이 있었으며, 중립적 입장을 가진 참여자가 부정적 Likert Δ를 보일 확률이 높았음.

• 한계점

표본 크기가 작음(n=33, m=198)
자기 보고식(opinion self-report)이 노이즈를 포함할 가능성이 높음
통계적 유의성이 낮은 경우가 많음.