A survey on large language model based autonomous agents
Wang, L., Ma, C., Feng, X., Zhang, Z., Yang, H., Zhang, J., ... & Wen, J. (2024). A survey on large language model based autonomous agents. Frontiers of Computer Science, 18(6), 186345.

Abstract

• 연구 배경

  • 기존 연구는 격리된 환경에서 제한된 지식으로 agents를 훈련하는데 치중하여 인간의 learning processes와는 차이가 있었고, 이로 인해 human-like decisions를 내리는데 한계가 있음
  • 최근 방대한 web knowlege를 습득한 LLMs가 human-level intelligence의 잠재력을 보여주면서, LLM-based autonomous agents에 대한 연구가 급증하고 있음

• 논문 목적

  • LLM-based autonomous agents에 대한 연구들에 대한 comprehensive survey를 제시하고, holistic persepctive에서 systematic review 제공

• 주요 구성 요소

  • Contruction: 이전 연구들을 포괄하는 unified framework를 제안하고 agents 구축 방법 논의
  • Applications: social science, natural science, engineering 분야의 다양한 활용 사례 제시
  • Evaluation: agents 평가를 위해 흔히 사용되는 전략들 분석
  • Challenges & Future Directions: 기존 연구를 바탕으로 이 분양의 challenges와 향후 연구 방향 제시

1. Introduction

• Autonomous Agent의 정의와 배경

  • Autonomous Agent는 환경(environment)내에 위치하여 이를 감지하고 행동하며, 시간이 흐름에 따라 자신의 agenda를 추구하는 시스템으로 정의됨
  • 이러한 agents는 자율적인 planning과 actions를 통해 작업을 수행하며, Artificial General Intelligence(AGI)를 달성하기 위한 유망한 접근방식으로 간주됨

• 기존 연구 vs LLM 기반 연구

  • 기존 연구: agents가 단순한 heuristic policy functions를 기반으로 하며, 격리되고 제한된 환경에서 학습된다고 가정함. 이는 복잡한 인간의 learning process와 큰 차이가 있어 open-domain 설정에 한계가 있었음
  • LLM 기반 연구: 방대한 training datasets와 model parameters를 갖춘 LLMs를 central controllers로 활용하여 human-like decision-making 능력을 구현함

• LLM-based Agents의 주요 장점

  • World Knowledge: reinforcement learning과 달리 포괄적인 내부 지식을 보유하고 있어, 특정 도메인에 대한 훈련 없이도 정보에 입각한 행동이 가능
  • Natural Language Interface: 인간과 상호작용할 때 유연하고 explainable한 인터페이스를 제공함
  • Human Capabilities: LLM에 memory와 planning과 같은 역량을 결합하여 효과적으로 작업을 완수
    

• 해당 논문의 구성
  • Construction: agent architecture 설계 및 capability acquisition 전략을 포함한 unified agent framework를 제시
  • Application: social science, natural science, engineering 등 다양한 분야의 응용 사례 제시
  • Evaluation: 주관적(subjective) 및 객관적(objective) 전략을 아우르는 평가 방법 분석
  • Challenges & Future Directions: taxonomies 정립, 향후 연구를 위한 challenges와 future directions를 제시

2. LLM-based autonomous agent construction

• Construction의 핵심 측면
  • Architecture 설계: LLM을 더 효과적으로 활용하기 위한 설계
  • Capability acquisition: 설계된 구조 위에서 특정 작업을 완수하기 위한 역량을 습득하는 전략
  • ML에 비유하자면, Agent Architecture를 설계하는 것은 network structure를 결정하는 것과 같고, capability acquisition은 network parameters를 학습하는 과정과 유사함

2.1 Agent architecture design

• question-answering(QA)와의 차이점: Autonomous agents는 단순한 QA 형식을 넘어, 특정 역할을 수행하고 환경을 스스로 인지하며 학습하여 인간처럼 진화해야 함

• Unified Framework의 4가지 모듈
  

  • Profiling module: Agent의 역할을 정의하고 식별
  • Memory module: 환경에서 인지한 정보를 저장하고 과거의 행동을 회상
  • Planning module: 복잡한 작업을 하위 작업으로 분해하고 미래의 행동 계획
  • Action module: Agent의 결정을 구체적인 output으로 translating

2.1.1 Profiling Module

• Profiling module 개요
  • Autonomous agents가 특정 역할(예: coder, teacher, domain expert)를 수행할 수 있도록 역할을 정의하는 모듈
  • 정의된 profiles를 prompt에 삽입하여 LLM behaviors에 구체적인 영향을 미침
  • agent design의 기초가 되며, memorization, planning, action 절차 전반에 큰 영향을 미침
• Profile Contents
  • Demographic information: 연령, 성별, 직업 등 기본적인 신상 정보
  • Psychology information: 에이전트의 성격을 반영하는 심리학적 특성
  • Social information: 에이전트 간의 관계 및 상호작용 정보
• Agents를 위한 구체적인 Profiles Generation Strategies
  • Handcrafting method
    • agent profiles가 수동으로 지정됨
    • ex) 서로 다른 성격을 가진 agents를 설계하고 싶다면 "you are anoutgoing person” or “you are an introverted person”라는 문구를 사용하여 agent를 프로파일링
    • In general, the handcrafting method is very flexible, since one can assign any profile information to the agents. However, it can be also labor-intensive, particularly when dealing with a large number of agents.
  • LLM-generation method
    • agent profiles가 LLMs를 기반으로 자동 생성됨
    • 일반적으로 target population 내에서 agent profiles의 구성과 속성을 설명하는 profile generation rules를 명시하는 것부터 시작
      -> few-shot examples로 활용할 몇 개의 seed agent profiles를 선택적으로 지정
      -> LLMs를 활용하여 모든 agent profiles를 생성
    • ex) RecAgent: 먼저 연령, 성별, 개인적 특성, 영화 선호도와 같은 배경을 수동으로 작성하여 소수의 agents에 대한 seed profiles를 만듬 -> ChatGPT를 활용해 이 seed information을 바탕으로 더 많은 agent profiles를 생성
    • The LLM-generation method can save significant time when the number of agents is large, but it may lack precise control(정밀한 제어) over the generated profiles.
  • Dataset alignment method
    • agent profiles는 real-world datasets으로부터 얻어짐
    • 일반적으로 데이터셋에 있는 실제 인간에 대한 정보를 먼저 자연어 prompts로 정리한 후, 이를 agent 프로파일링에 활용
    • ex) American National Election Studies (ANES) 참여자들의 인구통계학적 배경(인종/민족, 성별, 연령, 거주 주 등)을 바탕으로 GPT-3에게 roles 할당 -> GPT-3가 실제 인간과 유사한 결과를 낼 수 있는지 조사
    • The dataset alignment method accurately captures the attributes of the real population, thereby making the agent behaviors more meaningful and reflective of real-world scenarios.
• remark
  • 대부분의 이전 연구들은 위의 profile generation strategies를 독립적으로 활용하지만, 이들을 결합하는 것이 additional benefits을 줄 수 있음
  • ex) Dataset alignment method - Handcrafting method
    • agent simulation을 통해 사회 발전을 예측하기 위해 일부 agents는 실제 데이터셋을 사용하여 현재의 사회 상태를 정확히 반영하도록 프로파일링
    • -> 실제 세계에는 존재하지 않지만 미래에 나타날 수 있는 roles를 다른 agents에게 수동으로 할당함으로써 미래의 사회 발전을 예측 가능

2.1.2 Memory module

• Memory module 개요

  • environment로부터 인지된 정보를 저장하고, 기록된 memories를 활용하여 향후 행동을 촉진하는 모듈임
  • Memory module은 agent가 경험을 축적하고, 스스로 진화하며(self-evolve), 더욱 일관되고 합리적이며 효과적인 방식으로 행동하도록 도울 수 있음

• Memory structures

  • 개요
    • LLM-based autonomous agents의 memory structures는 대부분 인간의 기억 과정에 관한 cognitive science 연구에서 유래한 원리와 메커니즘을 사용함
    • 인간의 기억은 perceptual inputs을 등록하는 sensory memory에서 시작하여, 정보를 일시적으로 유지하는 short-term memory, 오랜 기간 정보를 가지고 있는 long-term memory로 이어지는 흐름을 따름
    • short-term memory: transformer architecture에 의해 제한되는 context window 내의 입력 정보와 유사
    • Long-term memory: 에이전트가 필요에 따라 쿼리하고 검색할 수 있는 외부 vector storage와 유사
  • Unified memory
    • short-term memory만 시뮬레이션하는 구조
    • 대부분 in-context learning에 의해 구현되어 memory information이 prompts에 직접 작성됨
    • ex
      • RLP: 화자와 청자의 internal states를 유지하는 conversation agent로, 매 대화 라운드마다 이 상태가 LLM prompts 역할을 하며 에이전트의 short-term memory로 기능함
      • SayPlan: task planning을 위해 설계된 embodied agent로, scene graphs와 환경 피드백을 short-term memory로 사용하여 행동을 가이드함
      • CALYPSO: Dungeons & Dragons 게임을 위한 에이전트로, 장면 묘사, 몬스터 정보, 이전 요약본을 기반으로 short-term memory를 구축함
      • DEPS: Minecraft용 게임 에이전트로, 초기 작업 계획을 생성한 뒤 이를 LLMs의 prompt로 활용하여 작업을 완료하며, 이 계획들이 short-term memory로 간주됨
    • 한계: LLM의 context window가 제한적이라 모든 기억을 prompt에 담기 어려움. 이를 보완하기 위해 short-term memory와 long-term memory을 결합한 hybrid memory system이 주로 사용됨
  • Hybrid memory
    • short-term 및 long-term memories를 명시적으로 모델링함
    • Short-term memory는 최근의 인지 내용(perceptions)을 일시적으로 버퍼링하는 반면, long-term memory는 시간이 지남에 따라 중요한 정보를 consolidates함.
    • ex
      • Generative Agent: Short-term memory는 에이전트의 현재 상황에 대한 context information을 포함하고, long-term memory는 에이전트의 과거 행동과 생각을 저장하며 현재 사건에 따라 검색될 수 있음
      • AgentSims: prompt를 short-term memory로 활용하고, vector database를 기반으로 한 long-term memory 시스템을 제안함. 구체적으로 에이전트의 일상 기억은 embeddings로 인코딩되어 vector database에 저장됨. 에이전트가 이전 기억을 회상해야 할 경우, long-term memory 시스템은 embedding similarities를 사용하여 관련 정보를 검색하며, 이 프로세스는 에이전트 행동의 consistency를 향상시킬 수 있음.
      • GITM: short-term memory는 현재의 trajectory를 저장하고, long-term memory는 성공적인 prior trajectories에서 요약된 reference plans를 저장함. Long-term memory는 안정적인 지식을 제공하는 반면, short-term memory는 유연한 planning을 가능하게 함
      • Reflexion: 최근 피드백을 캡처하는 short-term sliding window와 condensed insights을 유지하는 영구적인 long-term storage를 통합함
      • SCM 및 SimplyRetrieve: 관련성 높은 long-term memory를 선택적으로 활성화하여 short-term memory와 결합하거나, 사용자 쿼리를 short-term memory로, 외부 지식 베이스를 long-term memory로 활용함
      • MemorySandbox: 2D 캔버스를 활용하여 메모리 객체를 저장하고 여러 대화에서 이를 공유할 수 있게 함