[Review] A survey on large language model based autonomous agents - Overview of Autonomous Agent
Paper Review
LLM 기반의 Autonomous Agent에 대한 Survey 논문 입니다.
특히, LLM 기반의 Autonomous Agent가 어떻게 구성(Constuction)되고, 어떻게 적용(Application)되며, 어떻게 평가(Evaluation)되는지를 중심으로 진행됩니다.
목차
1. Overview of Autonomous Agent
1-1) Autonomous Agent 정의
1-2) Autonomous Agent 발전
2. Construction of Autonomous Agent
3. Evaluation of Autonomous Agent
4. Challenge of Autonomous Agent
Autonomous Agent 개요
Autonomous Agent 정의
인간의 개입 없이 스스로 계획을 세우고(Self-directed Planning), 행동(Action)하며 주어진 업무(Task)를 수행하는 시스템
Autonomous Agent 발전
어떻게 해야 시스템이 인간 같이 사고하고 결정하여 행동 할 수 있을까?
Autonomous Agent가 궁극적으로 이루고자 한 바는 위와 같습니다.
사람과 같이 사고하고, 그 사고의 결과를 바탕으로 결정을 내리고, 행동을 수행하는 것입니다. 이를 이루기 위해 연구자들은 여러 과정을 마주해 왔습니다.
1. 이전 Autonomous Agent
Autonomous Agent는 LLM의 등장 이전에도 존재하던 개념이었습니다.
다만, 기존 연구들은 아래와 같은 한계점이 존재했습니다.
- 간단하고 휴리스틱한 Policy Function
- 고립되고 제한적인 환경에서의 학습
사람과 같이 사고하도록 해야하는데 인간 사고는 매우 복잡하고, 다양한 환경으로부터 학습되었긴 때문에 인간과 Agent 사고 간의 차이가 생길 수 밖에 없었죠.
2. Reinforcement Learning
이후 Reinforcement Leanring, 즉 강화학습이라는 개념이 등장하였습니다.
기존의 간단하고 휴리스틱한 Policy Function에서 좀 더 복잡하고 체계적인 정채을 통해 모델을 학습할 수 있게 되었습니다.
하지만 이런 발전에도 불구하고 강화 학습이 인간처럼 사고하는데는 아래와 같은 한계점이 존재했습니다.
- 특정한 Domain에 대한 훈련 필요
- 어떤 과정을 통해 의사 결정하였고, 왜 그런 결정을 했는지에 대한 설명 부족
즉, 사람들은 더 일반화가 되고 Flexible하면 Explainable한 Agent를 바랬던 것입니다.
3. Large Language Model
드디어 Large Language Model(LLM)이 등장하였습니다. LLM은 방대한 데이터셋과 모델 파라미터를 통해 인간과 같은 지능을 갖게 되었습니다.
이전과 다르게 LLM은 이미 방대한 양의 데이터셋을 기반으로 특정 도메인 특화가 아닌 일반화된 도메인 정보를 가졌으며, 자연어로 소통하기 때문에 더욱 더 사용자와 Flexible하고 Explainalbe한 소통이 가능해졌습니다.
즉, Autonomous Agent는 이러한 LLM을 기반으로 "Human-like decision-making capability"를 얻게 되었고, 인간처럼 사고하고 소통할 수 있는 기반을 다질 수 있게 되었습니다.
LLM의 등장과 함께 수많은 Autonomous Agent들을 기반으로, Agent가 어떻게 구성되고 평가되어 지는지 알아보도록 하겠습니다.
아직 많이 부족합니다. 잘못된 부분 있으면 알려주시면 감사합니다.
