[논문리뷰] Generative agent-based modeling : an introduction and tutorial

🔆 해당 아티클이 현실 인간의 추론과 의사결정을 포함해 다양한 사회적인 시스템의 효과적이고 유동적인 모델을 만들 수 있는 가이드가 되고자 함.

• 논문 링크 : https://onlinelibrary.wiley.com/doi/abs/10.1002/sdr.1761

Introduction

행동 의사결정 연구자들은 의사결정을 보다 잘 표현하기 위해 대안적 접근방식으로 의사결정 휴리스틱을 제안한다.

의사결정 휴리스틱 decision heuristics
사람들이 복잡한 문제를 해결하거나 결정을 내릴 때 사용하는 간단한 규칙이나 전략
인간은 제한된 정보와 시간이 주어지기 때문에, 최적의 해결책을 찾기보다는 빠르고 효율적으로 결정을 내리기 위해 이러한 휴리스틱을 활용
떄로는 비합리적인 결정이나 편향을 초래할 수 있다.

• 가용성 휴리스틱 : 주어진 정보를 쉽게 떠올릴 수 있는 정도에 따라 판단하는 것
• 앵커링 : 첫 번째 정보에 기반하여 후속 결정을 조정하는 것
• 대표성 휴리스틱 : 어떤 사례가 특정 범주를 대표한다고 여기는 것

많은 과거 시스템 다이나믹 모델은 인간 결정 모델을 만들 때 휴리스틱 같은 수학적인 표현을 사용했다.

→ 고정과 조절 휴리스틱 : 개인이 초기 아이디어나 역사적 경향으로 시작하고 시작점에 따라 결정을 수정하는 지각적인 휴리스틱이며 일경제 예측이나 재고 조정과 같은 모델에서 일반적으로 사용됨.

• 다이나믹 모델링은 정확성과 효과성을 남기기 위해서 사례 별로 적응하고 수정해야 한다.
• LLM의 발전과 생성형 AI의 확장으로 인간 행동을 형성할 수 있는 새로운 가능성이 열렸다.
• 사회 시스템의 동적 모델링과 LLM을 결합하여 계산 모델에서 인간 행동과 의사결정을 포착하는 다리를 만드는데 기여하고자 한다.
• 목표 : 생성형 AI를 사용해 사회 시스템의 피드백이 풍부한 계산 모델을 사용하는 새로운 기회를 소개!
• 개별 수준에서 간단한 확산 모델을 구축하는 가이드를 제공하고, 에이전트 성격 분포와 같은 다양한 입력 및 시나리오에 대한 결과를 분석
• GABM : 생성형 AI + 에이전트 기반 모델

요약하자면
의사결정 휴리스틱은 인간이 정보를 처리하고 결정을 내릴 때 사용하는 경험적인 방법이나 규칙을 의미한다. 인간은 종종 한정된 정보와 인지적 편향, 제한된 시간에 의존하여 결정을 내리기 때문에, 이러한 휴리스틱을 모델링에 포함시키는 것이 중요하다!
GABM은 행동 결정 모델을 구축할 때 휴리스틱을 활용합으로서 전통적인 모델링 접근 방식(ex. 완전한 합리성 가정)을 극복하고 인간 행동의 비합리성이나 다양성을 좀 더 잘 표현할 수 있는 기반을 마련함.

Background

Large language moels

해당 논문에서는 GPT-3.5-Turbo를 사용했으며 편의를 위해 GPT 혹은 ChatGPT로 명명한다.

GPT의 훈련방식은 크게 두 가지로 나눌 수 있다. 1) 대규모 비레이블링 말뭉치 데이터를 이용해서 문장에서 다음 단어를 예측하도록 훈련되며, 문법적으로 올바른 텍스트를 중심으로 한다. 2) 이후 supervised learning에서는 GPT가 레이블에 있는 데이터를 이용해 맥락에 적합한 텍스트를 생성하도록 훈련한다.

훈련이 완료된 후에는 프롬프트로부터 모델은 맥락적으로 관련된 텍스트를 제공한다. 중요한 점은 이 대답들이 종종 human-like 한 것처럼 보일 수도 있지만 인간과 같은 이해나 지각을 갖추지는 않았다는 것이다.

Realizing the potential of LLMs in social sciences

• (Akata et al., 2023) : 게임이론 방식으로 자주 연구되는 상황에서 두 상호작용하는 에이전트를 모델링. 다중 에이전트 상호작용이 사회적 맥락을 표현하는데 큰 기회를 제공함

• Park et al. (2022, 2023) : 미리 정해진 인격을 가진 생성형 에이전트로 가득찬 시뮬레이션 환경 구축. 의견, 답글, 반사회적 행동과 같은 인간과 유사한 행동을 상호작용하면서 생성(2022) 또 생성적 에이전트들이 아침에 일어나고, 아침을 요리하며, 출근하고, 대화를 시작하는 등의 믿을 수 있는 행동을 시뮬레이션할 수 있는 새로운 아키텍처를 개발(2023)

• Gao et al.(2023) : LLM에 의해 강화된 에이전트는 사회 네트워크를 시뮬레이션 하는데 사용됨

  이러한 에이전트는 다른 에이전트가 게시한 콘텐츠를 관찰하고, 태도와 감정을 변화시키며, 자신의 콘텐츠를 생성하거나 비활성 상태로 유지

  • social-network simulation system with large language model-empowered agents

• Williams et al., (2023) : 생성적 에이전트가 발전하는 발병에 대한 인간 행동 동학을 통합한 전염병 모델을 개발하는 데 활용

  • Epidemic modeling with generative agents

• 우리의 접근 방식은 상호작용하는 에이전트 인구를 확장하고, 특정 사회적 문제를 해결하며, 시간에 따른 시스템 응답의 진화를 체계적으로 관찰하는 데 중점을 둡니다!!

GABM이 뭘까?

GABM은 사회 시스템에서 인간 행동 변화의 표현을 개선하기 위해 ABM을 발전시킨 것

→ 각 에이전트(개인)이 모델링되는 개별 수준의 접근 방식

• 대형 언어 모델은 에이전트의 의사결정 및 추론을 담당
• 매커니즘 모델은 각 각 에이전트의 상호작용과 시스템 상태에 대한 정보 제공을 담당
• ABM과 비교해보자
  • ABM은 모델러가 직접 설정한 일련의 미리 정의된 결정 규칙을 바탕으로 에이전트의 결정이 형성 ↔ GABM은 LLM이 데이터에서 학습한 패턴을 따라 행동 생성
  • 고정된 규칙 ↔ GABM은 적응적 반응 가능
• ex. 전염병 GABM에서는 기계적 모델이 에이전트에게 바이러스 확산 상태에 대해 알리고 에이전트는 자신의 상태(기침, 열…)를 전달 → LLM과의 의사소통을 통해 나갈지 말지 결정

Green or Blue? A simple model of diffusion of norms

본 논문에서는 직장 복장에 대한 규범 확산의 간단한 사례를 모델링했다.

20명의 직원이 있는 사무실에서 서로 매일 보고 초록색 셔츠 또는 파란색 셔츠를 입는다. 직원들은 생성적 에이전트로, 이는 그들이 LLM을 사용하여 추론하고 결정을 내릴 수 있음을 의미한다. 매 시간 단계마다 우리는 각 개인에게 맥락, 개인의 성격, 전날의 셔츠 색상 선택, 전날 초록색 또는 파란색을 입었던 사무실의 인원 수에 대한 정보가 포함된 프롬프트를 제공한다. 그 다음, 에이전트는 그날 사무실에 입고 갈 셔츠 색상을 결정해야 하며, 이를 위해 LLM에 연락한다.

• 전통적인 모델과 달리 우리는 결정보다 정해진 규칙을 두지 않고, 에이전트에게 셔츠 색상을 제안하지 않는다.
• 부록 A.1에 모델 다운로드 링크가 있다!

Model Algorithm

Fig.2. Flowchart of green or blue chirt model code logic

• Cell2 : 조직과 근로자를 나타내기 위해 세계가 형성!
• Cell3 : 개별 의사 결정을 수행하기 위해 ChatGPT를 활용하는 근로자 클래스 설계
• Cell4 : 이후 프로세스는 최종 시뮬레이션 라운드까지 계속됨
• Cell5 : 결과 보고

여기서 중요한 건 각 API 호출은 다른 API 호출과 독립적이라는 것이다. 따라서 각 에이전트에 대해 내려지는 결정은 현재 프롬프트에서 제공되는 정보만을 기반으로 한다.

Simulation Results

A Sample of simulation runs(시뮬레이션 실행 샘플)

• 현재 버전에서는 시점 0에서 파란색과 초록색을 입을 확률이 동일하게 무작위로 설정된다.
• <그림3A>는 처음 11명의 근로자가 파란색을 입었을 때, <그림3B>는 처음 9명의 근로자가 파란색으 입었을 때 → 결국 두 색 중 하나가 지배적인 위치에 서게 됨

Table 1. Choices of each agent over time

• <그림3A>에 해당하는 경우. 1이 파란색 셔츠, 0이 초록색 셔츠
• 개인의 결정이 시간이 지남에 따라 그들의 개성과 나머지 인구의 셔츠 선택, 이전 날의 개인의 셔츠 색상 선택에 의해 어떻게 영향을 받는지를 조사하는 데 도움이 됨
  • ex. 줄리아는 셔츠 색상을 자주 바꾼다

• 의사결정을 위해 제시된 에이전트의 추론 샘플 <그림 3A>
• 변화하는 트렌드 뒤에 있는 이유를 이해하고 개인을 이해할 기회 제공

A systematic investigation of the results

다양한 시나리오에서의 시뮬레이션 실행을 체계적으로 조사하고, 프롬프트 변경에 대한 시뮬레이션 결과의 민감도를 검토하는 단계이다.

각 조건에서 모델을 100회 실행하고, 모든 결과를 함께 플로팅하여 모델의 견고성 및 항상 우세한 색상 규범으로 이어지는지 여부를 탐색한다. (for-loop 추가. 100회 반복 실행 모델 코드)

• E2~E4 : 페르소나 변화 영향을 조사하기 위한 test 10개
• E5~E6 : 외부 영향을 검토하기 위한 test 10개
• E7~E8 : 확률적 변화
• E9~E11 : 프롬프트 변화
• E12 : 다른 날짜에 모델을 실행했을 때 같은 결과가 나오는지

위와 같은 결과가 나왔다! 하나씩 살펴보자.

BASE RUN

• 선택은 초기 조건의 영향을 강하게 받음.(blue가 많으면 blue쪽으로)
• 이런 행동은 모든 시뮬레이션에 동일하게 나타남 (= robust하다!)
• 그러나 모든 값들이 100이나 0으로 수렴하지는 않음 → 이들은 일부 개인이 비순응자이거나 저순응자이기 떄문
  
• 참고 : 각 패널 생성에 3~4시간, API 연결 비용 10달러 → 총 42시간, 120.12달러

Effect of Personas

• E2는 성격 정보가 없는 경우, E3와 E4는 기본 실행보다 더 많은 정보가 포함된 경우
• 성격 없는 실험을 위해서는 코드 작업자 cell3에서 “You are a {self.traits} person.”을 제거. cell4에서 성격이 나열되어 있어도 이 문장을 삭제하면 결정과정에서 사용되지 않음. → 성격에 기반한 의사결정을 하지 않도록 하는 것이기 때문!
  • <그림4B>에서 볼 수 있듯 성격이 었으면 지배적인 규범이 형성되지 않음.
• 사회적인 규범을 따르는 것보다 다양한 성격 특성을 포함한 정보를 추가하기 위해 cell3에 “You are a {self. traits} person.”을 다시 추가하고 cell4의 성격을 <표4>에 있는 것으로 대체해 개인당 세 가지 차원을 더 추가함. (호기심 vs 신중, 친근함 vs 비판적, 자신감 vs 민감성)
  • 기본 실행과 비교할 때 최종 값의 꼬리가 더 두꺼워짐 → 꼬리가 두껍다는 것은, 선택지가 다양하게 퍼져 있거나 극단적인 선택이 많다는 것
    
• 동조 특성에 대한 정보를 제거한 실험을 테스트<그림4D>
  • 무작위로 분포 → 선택의 일관성이 떨어짐

Effect of high influencer

• 만약 같은 조직의 다수가 입고 있는 색상과 ‘다른’ 색상을 입은 CEO가 나타났다면??
• 테스트 구현을 위해 초기 할당 변경(모든 작업자 녹색 옷)
  • random.random() < 0.5 → 0.5를 0으로 변경
  • Cell3에서 프롬프트 변경을 통해 새로운 CEO와 CEO의 복장에 대한 정보 추가(CEO는 정보를 받지 않거나 신경을 쓰지 않음)
  • CEO Michael

    Michael, the new CEO, bikes to work everyday, likes coffee, and
    often wears blue shirts.

• E5(일관된 복종 성향) : CEO의 영향을 무지하게 받음…
• EF(성격 특성이 더 다양) : E보다는 덜하지만 결국에는 CEO의 영향을 받음… 권력 절대 복종인가..

❓ 그런 복종 하지 않아!! 같은 성격의 에이전트는 없던 걸까??

Effect of stochasticity(우연성, 무작위성)

• 온도 매개변수는 시뮬레이션 내에 무작위성과 예측 가능성의 균형을 제어하는 매개변수
  • 높은 온도 : 큰 무작위성 ↔ 낮은 온도 : 더 집중적이고 예측 가능한 결과
• 온도가 0.25, 0.5일 때 각각 지배적인 생상 규범이 나타났고 통계적으로도 유의미함(P<0) → 완전한 무작위는 아니지만(일관된 패턴) 일부 존재
  

Prompt sensitivity analysis

(코드는 부록 A.3)

ChatGPT에 제공된 정보 순서의 변화에 대한 결과의 견고성 검사

• E9 : 에이전트의 이전 날 셔츠 색상 정보를 에이전트가 입고 싶은 색상을 결정하는 줄에 더 가깝게 배치
• E10 : 동료의 색상 선택을 프롬프트에서 위쪽으로 이동시켜 ChatGPT가 에이전트의 이름과 성격 이전에 이 정보를 첫 번째 정보로 받도록 함
• 두 상황 모두 유사한 결과가 나타났으나 최종 평행 값이 다소 다름

LLMs가 이름과 인종에 민감하게 반응하며, 이것이 미국의 백인 대다수 중에서 더 일반적인 이름을 가진 에이전트와 소수 민족 중에서 더 일반적인 이름을 가진 에이전트의 결과를 다르게 만들 수 있다는 주장이 있었다. (Omiye et al., 2023)

• E11 : 이를 탐색하기 위해 미국에서 드물게 접하는 이름으로 대체하는 실험 수행 → 최종 평형은 약간 다르지만 경로 의존성은 동일하다~
  

Reproducibility

기초 실행은 2023년 8월 13일에 수행되었고 그로부터 20일 후에 동일한 모델을 실행하였다.

• 경로 의존성은 여전히 존재!

Uncovering the system structure

FIg.5.

<그림5>의 인과 루프 다이어그램은 푸른 셔츠를 입은 작업자 또는 CEO에서 발생하는 다섯 가지 피드백 루프를 보여준다.

• R1 : 파란 옷을 입으라는 동료의 압박

• B1 : 포화 상태

• B2 : 돋보이기

• B3 : 옷갈아입기

• B4 : CEO의 애완동물(??? pet이라고 되어 있음)

• R1의 경우 사무실 규범에 따르라는 압력

  • 사무실에서 더 많은 사람들이 이전 날에 파란색 셔츠를 입었을 때, 에마는 “어제 사무실에서 더 많은 사람들이 초록색 셔츠보다 파란색 셔츠를 입었으므로, 오늘 다수에 맞춰 파란색 셔츠를 입겠습니다. 이는 사무실의 통일성을 유지하기 위해서입니다.”라고 언급
  • 강화 루프!!!

• B1은 포화이며 사무실 인원이 제한되어 있다는 것

  • 더 많은 사람들이 다른 색상으로 전환함으로 지배적인 사람의 수를 감소
  • 균형 피드백 루프!!

• B2 : 돋보이고 싶은 에이전트의 경우

  • 균형 피드백 루프!!

• B3 : 가끔 에이전트가 다양성을 탐구하기 위해 다른 색상을 실험하는 걸 발견함

  • 균형 피드백 루프!!

• B4 : 권력 복종인 듯

  • 직원들 사이에 파란색 셔츠를 입고 있는 사람이 없는 날을 맞이하여, 리지는 자신이 파란색을 입기로 한 이유를 이렇게 설명 "… 나는 새롭게 취임한 CEO인 마이클이 종종 파란색 셔츠를 입는다는 것을 알고 있다. 내가 성공하고 더 많은 돈을 벌고 싶기 때문에, CEO와 나 자신을 맞추는 것이 나에게 유리할 것이다. 따라서 오늘은 직장에 파란색 셔츠를 입고 가기로 선택할 것이다.”
    
  • 균형 피드백 루프!
  • CEO의 애완동물,,,;;;
  • 새로운 CEO의 등장과 함께 조직의 규범이 변화!!

Discussion and Conclusion

This study articulates the concept of GABM as a new way of modeling complex social systems

생성형 AI가 시뮬레이션 모델을 강력하게 만들 수 있다! 고 주장하고 있음

↔ 생성형 AI 없이 행동한 경우와 비교해야 할 수도 있을 것 같음

에이전트 상호작용의 기계적 모델은 LLM과 결합되며, 각 에이전트는 LLM과 소통한 후 결정을 내린다. 이 혁신적인 접근 방식은 모델러들이 인간의 의사 결정에 대한 가정에 의존하는 것을 최소화하고, 대신 LLM 내의 방대한 데이터를 활용하여 인간 행동과 의사 결정을 포착한다.

• 기존에는 에이전트에게 일일이 어떤 색상을 선택할지 규칙에 기반했다면 GABM은 결정 규칙을 설정하기 않음
• 에이전트들의 셔츠 색상 결정은 이전 날 동료들의 셔츠 색상에 크게 영향을 받음 → 모델러들이 그런 지시를 하지 않았는데도 그냥 알아서 그런 규범이 만들어짐!
  

6가지의 이점

1. 이전의 연구들은 인간이 합리적이고 이성적이라고 가정함 → 그러나 현실은 그렇지 않다!

   → LLM 내의 방대한 데이터를 사용해 인간의 실직적인 의사결정을 표현하는데 기여함

2. 이전의 연구들은 인간의 행동을 모델링하고 에이전트의 규칙을 정함 → 에이전트는 수학적인 공식에 의거해서 행동했던 것

   → GABM에서 모델러는 규칙을 세우지 않으며 이에 모델러가 예상하지 못한 여러 피드백 루프를 발견할 수도 있음! ex. 돋보이고 싶어하는 에이전트

3. 데이터 기반 의사결정에 대한 현재의 강조에 부합함!

4. GABM은 생성적 에이전트에 대해 다양한 성격 특성을 정의할 수 있음

   • 현실적인 결과 창출을 위해 페르소나가 중요함
   • 현실 세계의 설정을 복제하는 것이 목적일 때, 인구통계학적 특성과 성격 특성을 현실 세계의 분포와 일치하게 정의하는 것이 중요

5. 역동적인 확산 모델과 관련된 시스템 다이내믹스 모델링 문헌에 대한 통찰을 제공

   • 경로 의존성 행동
   • 능력 함정 모델 (Capability trap model): 이 모델은 관리자가 성과 부족 문제를 다루기 위해 자원을 할당하는 결정을 내리는 상황을 설정. 단기 성과 vs 장기 성과

6. GABM을 구축하는 방법을 우리가 설명해줬다!!

한계점도 존재

1. 훈련 데이터 재생산: 생성적 에이전트는 과거에 학습한 데이터를 바탕으로 의사결정을 하여, 훈련 데이터가 반복될 수 있음
2. 프롬프트에 따른 민감도: 모델의 출력 결과는 프롬프트의 변화에 민감하여 다양한 민감도 분석이 필요함
3. 편향 문제: 에이전트는 훈련 데이터에서 학습한 패턴에 제한되어 있으며, 이로 인해 편향이 발생 가능
4. 블랙박스 모델: 생성적 AI는 '블랙박스' 모델로, 실제로 인간의 행동을 얼마나 잘 복제하는지는 여전히 연구가 필요함
5. 기술적 한계 및 비용 문제

Conclusion

결론적으로 본 연구(인지 기사인지…) 방대한 양을 기반으로 한 기계적 모델과 LLM을 결합한 GABM이라는 새로운 모델링 접근 방법을 제안한다.

GABM에서 인간 페르소나를 정의함으로써, 이러한 모델은 인간 행동 동력을 더 현실적으로 통합할 수 있는 잠재력을 가지고 있다.

🔆논문 의의
GABM 세계 생성 관련 코드가 나와 있어 Baseline 으로 삼기 좋을 것 같음
GABM에 대한 논문이 더 있지는 않음. 가장 많이 인용된 논문은 1999년도….