AGI의 도래와 AI 에이전트: 설계, 평가 및 배포의 재고

1. 서론: AGI의 개념과 에이전트의 필요성

• 강의는 AGI(일반 인공지능)의 도래와 지능형 에이전트의 설계, 평가, 배포 방식에 대한 재고를 다룬다.
• 최근 에이전트 및 새로운 모델 개발로 인해, 현재 시스템은 채팅 및 추론 분야에서 이미 평균적인 인간 수준을 넘어서는 초지능을 갖춘 것처럼 보인다.
• AGI의 형태: AGI는 아직 추상적인 개념으로, 단순히 챗지피티(ChatGPT)가 10배 더 나아진 형태인지, 개인 비서의 형태인지, 혹은 일상생활에 내장된 형태인지 등에 대해 명확하게 정의된 바는 없다.
• Div Garg 강연자는 이전에 컴퓨터와 상호작용하고 일상 업무를 지원할 수 있는 AI 에이전트 스타트업인 Multicon을 설립했으며, 현재는 AI와 인간 상호작용을 재정의하는 새로운 AI 연구소인 AGI Inc.의 창립자이자 CEO이다,.

---

2. AI 에이전트의 핵심 아키텍처

• 에이전트를 구성하는 아키텍처는 릴리안 왕(Lilian Wang, 전 OpenAI 연구원)이 제시한 다이어그램을 통해 이해할 수 있으며, 에이전트가 작동하기 위해 필요한 여러 하위 경로와 요소들로 나뉜다.
• 1단계: 메모리 (Memory)
  • 에이전트는 단기 메모리와 장기 메모리를 모두 가져야 한다.
  • 단기 메모리는 채팅 창과 같이 짧은 표현 형태일 수 있다.
  • 장기 메모리는 사용자의 개인 이력이나 선호 사항(예: 사용자가 좋아하는 것, 싫어하는 것)을 저장하는 역할을 한다.
• 2단계: 도구 (Tools)
  • 에이전트는 인간이 도구를 사용하듯이 도구를 사용할 수 있어야 한다.
  • 사용 가능한 도구의 예시로는 계산기, 캘린더, 웹 검색, 코딩 등이 있다.
• 3단계: 고급 계획 (Advanced Planning)
  • 에이전트는 복잡한 작업을 하위 목표(sub goals)로 분해할 수 있어야 한다.
  • 사고의 연쇄(chains of thoughts)를 통해 에이전트 스스로 추론 루프를 수행할 수 있어야 한다.
  • 문제가 발생하면 반성(reflection)을 통해 오류를 수정하고 복구하는 실패 복구 메커니즘(failover mechanisms)이 필요하다.
  • 자기 비판(self-criticism) 능력을 갖춰야 한다.
• 4단계: 행동 (Actions)
  • 에이전트는 사용자를 대신하여 행동하고 실제 작업을 수행할 수 있어야 한다.

---

3. 에이전트의 실제 적용 및 개발 방향

3.1. 에이전트의 실제 적용 사례

• 과거 AGI Inc.에서 구축했던 기술 데모 중 하나는 AI 에이전트가 캘리포니아의 실제 운전 면허 온라인 시험(DMV test)을 통과하는 것이었다.
• 에이전트는 사람이 키보드 위에 손을 얹고 있지만 실제로는 화면을 터치하지 않는 설정에서 시험을 치렀으며, 40개의 질문으로 구성된 이 시험을 성공적으로 통과했다.
• 이 데모는 화이트 해킹 시도로 진행되었으며, DMV에 사후 통보 후 실제로 운전 면허증을 발급받기도 했다.

3.2. 에이전트 개발의 주요 노력

• 에이전트 평가 (Agent Evaluations): 실제 환경에서 에이전트가 얼마나 잘 작동하는지 측정할 수 있는 표준과 벤치마크를 마련해야 한다.
• 에이전트 훈련 (Agent Training): 강화 학습(RL) 및 기타 고급 기술을 사용하여 에이전트가 고급 계획 및 자기 수정 능력을 갖추고 스스로 개선할 수 있도록 훈련한다.
• 에이전트 통신 (Agent Communication): 에이전트 간의 통신 방식에 대한 연구가 활발하며, Model Context Protocol (MCP)(Anthropic)과 Google의 Agent to Agent Communication Protocol (A2A) 같은 프로토콜이 최근 등장했다. 오픈 소스 프로젝트인 Agent Protocol도 개발되어 코딩 에이전트, 웹 에이전트, API 기반 에이전트 간의 복잡한 통신을 가능하게 한다.

3.3. 에이전트 구축의 이유와 목표

• 행동 능력(Action capabilities) 잠금 해제: 대규모 언어 모델(LLMs)만으로는 충분하지 않으며, 에이전트가 행동 능력을 갖춰 생산성을 높이고 작업을 수행할 수 있도록 해야 한다,.
• 효율성 증대: 핵심 목표는 에이전트가 디지털 세계에서 컴퓨터와 상호작용하는 데 있어 인간보다 더 효율적이라는 전제 하에, 사용자를 위해 작업을 수행하는 완전히 디지털화된 가상 비서 군단을 구축하는 것이다 (소프트웨어 3.0 비전).

---

4. 인간과 같은 에이전트 vs. API 에이전트

4.1. 인간과 같은 에이전트를 구축하는 이유

• 인터넷과 컴퓨터는 인간의 상호작용(키보드 및 마우스)에 맞춰 설계되었으므로, 에이전트가 인간처럼 인터페이스를 사용할 수 있다면 현재 소프트웨어 프로그램을 변경할 필요 없이 직접 상호작용이 가능하다,.
• 접근성: 이는 인터넷의 100%에서 작업할 수 있게 하며 병목 현상을 방지한다.
• API의 한계: 인터넷상의 API 중 약 5%만이 공개되어 있어, API를 통해 완전히 신뢰할 수 있는 에이전트를 구축하기 어렵다.
• 디지털 확장: 인간과 같은 에이전트는 사용자의 디지털 확장(digital extension)이 되어 사용자의 맥락을 학습하고 사용자처럼 작업을 수행할 수 있다.
• 제한 없는 상호작용: 이러한 에이전트는 로그인, 결제 등을 처리할 수 있으며, API 접근에 대한 제한 없이 모든 서비스와 상호작용이 가능하다.
• 단순한 행동 공간: 에이전트는 클릭하고 입력하는 방법만 배우면 되므로, 이를 효과적으로 수행할 수 있다면 모든 종류의 인터페이스에 일반화하고 사용자 기록 및 피드백을 통해 시간이 지남에 따라 개선될 수 있다.

4.2. 두 유형 에이전트의 장단점 비교

에이전트 유형	장점	단점
API 에이전트	구축이 더 쉽고, 통제가 용이하며, 더 안전함.	높은 변동성: API마다 다른 에이전트가 필요하고, API가 자주 변경될 수 있어 100% 작동을 보장하기 어려움.
컴퓨터 제어 에이전트 (직접 상호작용)	행동 취하기가 쉽고, API 경계에 얽매이지 않는 자유로운 상호작용이 가능함.	보장 제공의 어려움: 에이전트가 무엇을 할지 예측하기 어렵기 때문에(예: Operator에서 발생하는 문제들) 보장을 제공하기 어려움.

4.3. 자율성 수준 (L1 ~ L5)

• 에이전트의 자율성은 레벨 1부터 5까지 나뉜다.
• L1-L2 (Co-pilot): 인간이 통제하고 에이전트가 보조하는 단계.
  • 예시: 코드 편집기 Cursor (L2)는 부분 자동화로 인간의 코딩을 돕는다.
• L3 (Agent in Control with Human Fallback): 에이전트가 통제하지만 인간의 대체(fallback) 메커니즘이 존재하는 단계.
  • 예시: Cursor Composer와 같은 에이전트 코드 편집기에서 에이전트가 코드를 작성하고 인간이 모니터링하며 피드백을 제공한다.
• L4 (Automated Fallback): 인간이 루프에 없으며, 에이전트가 모든 것을 수행하지만 자동화된 대체 계층이나 원격 모니터링 인간 운영자가 존재한다.
  • 예시: 샌프란시스코의 자율주행차 Waymo (L4),.
• L5 (Fully Autonomous): 루프 내에 인간이 전혀 없고, 모니터링도 없으며, AI 에이전트가 완전히 자율적으로 작동하는 단계.

---

5. 에이전트 평가 및 훈련 방법론

5.1. 에이전트 평가 및 신뢰 문제

• 에이전트가 원하는 대로 작동할 것이라는 신뢰를 구축하는 것이 중요한 문제이다.
• RelI.xyz 프로젝트: 인터넷 상위 20개 웹사이트(Airbnb, Amazon, DoorDash, LinkedIn 등)를 복제하여 에이전트의 성능을 벤치마킹하는 축소판 인터넷을 구축했다.
• 평가 결과:
  • GPT-4o의 성공률은 이 에이전트 작업에서 14%에 불과했다.
  • 오픈 소스 프레임워크(Operator의 기반 모델)는 최대 20%의 정확도를 보였다.
  • 가장 높은 성공률을 보인 모델은 Claude 3.7로 약 40%의 정확도에 도달했다.
• 한계점: 41%의 성공률은 에이전트를 실제 환경에 배포하기에 충분하지 않다. 시스템이 사용자가 원하는 것을 수행할 것이라고 기대할 수 있는 성공률은 훨씬 더 높아야 한다,.

5.2. Agent Q: 자기 개선 에이전트 훈련

• Agent Q는 에이전트 작업을 위해 사용자 지정으로 미세 조정된 모델을 구축하기 위한 과거 연구 프로젝트이다.
• 이 시스템은 인간처럼 실수를 기억하고(과거 메모리에 저장), 시행착오 학습을 통해 스스로 수정하고 정책을 개선함으로써 자기 개선(self-improve)할 수 있다,.

5.2.1. Agent Q의 핵심 기술 및 수학적 개념

Agent Q는 세 가지 주요 기술을 결합하여 성능을 향상시킨다,.

• 1. 몬테카를로 트리 탐색 (Monte Carlo Tree Search, MCTS):

  • 기술적 배경: AlphaGo와 같은 RL 기술에서 차용한 방법으로, 작업의 탐색 공간에 대해 계획을 세우고 고급 추론을 가능하게 한다.
  • 개념: 에이전트가 다양한 상태를 탐색하면서, 특정 상태를 방문했을 때 기대되는 미래 예측 보상(expected value of the future predicted reward)을 추정한다. 이를 바탕으로 에이전트는 올바른 경로와 잘못된 경로를 파악하여 예측 모델을 개선한다.

• 2. 자기 비판 메커니즘 (Self-Critic Mechanisms):

  • 개념: 에이전트가 특정 작업을 받았을 때(예: 레스토랑 예약), 여러 가능한 행동을 제안한다.
  • 작동 방식: 이 제안된 행동들은 비판 네트워크(Critic network, Critic LM)로 전달되며, 이 네트워크는 취해야 할 최선의 행동을 예측하고 순위를 매긴다 (예: 랭크 1, 랭크 2),. 에이전트는 이 피드백으로부터 학습하여 시스템을 최적화하고 정확한 행동을 취한다.

• 3. 직접 선호 최적화 (Direct Preference Optimization, DPO):

  • 기술적 배경: 인간 피드백으로부터의 강화 학습(RLFH) 방법론의 일종으로, 실패 및 성공 궤적의 선호도 데이터(preference datas)를 사용하여 LLM을 훈련하고 모델 전체를 개선한다,.
  • 개념: 에이전트가 MCTS를 통해 성공과 실패의 궤적을 생성하고, 자기 비판 메커니즘을 통해 성공 및 실패한 행동을 식별한 다음, 이 데이터를 DPO에 통과시켜 네트워크를 최적화한다.

5.2.2. Agent Q의 성능 개선 예시

• 실제 테스트: OpenTable 레스토랑 예약 작업을 수십만 번의 봇을 사용하여 테스트했다,.
• 오류 복구: 에이전트가 실수로 잘못된 레스토랑이나 날짜를 선택하더라도, MCTS를 통해 오류를 인식하고 되돌아가서(backtrack) 올바른 행동을 취하는 과정을 학습한다.
• 결과:
  • GPT-4o는 62.6%의 정확도.
  • DPO만 사용 시 71%.
  • MCTS가 없는 Agent Q는 81%.
  • MCTS + DPO + 자기 비판 메커니즘을 모두 적용한 Agent Q는 95.44%의 정확도에 도달했다.
• 학습 효율: 에이전트는 훈련 하루도 안 되어(less than one day) 초기 20% 정확도에서 95.4%까지 약 4배 성능이 향상되었다,.

---

6. 메모리, 개인화 및 컴퓨터 아키텍처 비유

6.1. AI 모델과 컴퓨터 아키텍처의 비유

• AI 에이전트를 이해하는 한 가지 방법은 정보를 처리하는 방식으로 생각하는 것이다.
• 트랜스포머 모델 (Transformer Model)은 프로세서(Processor)와 유사하게 작동한다. 입력 프롬프트(언어 토큰)를 받아 새로운 언어 토큰을 출력한다,.
• 맥락 길이 (Context Length): GPT-4는 처음 8K 토큰으로 제한되었으나, 현재는 32K, 128K, 심지어 100만 토큰까지 증가하고 있다.
• 에이전트 시스템:
  • 트랜스포머 = 프로세서(Compute).
  • 메모리 시스템, 명령어, 계획 = 파일 시스템 및 RAM.
  • 이러한 요소들의 반복적인 루핑 행동(looping behavior)이 에이전트의 기능을 탄생시킨다.

6.2. 장기 메모리와 개인화

• 장기 메모리: 컴퓨터의 디스크(disk)와 유사하며, 사용자 컨텍스트를 저장하고 필요할 때 불러올 수 있도록 지속적이고 오래 지속되는 사용자 메모리를 제공한다.
• 주요 메커니즘: 임베딩(embeddings)이 널리 사용된다. 검색 모델이 적절한 사용자 임베딩을 즉시 가져와 사용자 데이터를 확인하는 방식이다.
• 장기 메모리의 과제:
  • 계층 구조: 메모리를 그래프 구조로 분해하고 시간적 지속성을 갖게 하는 방법.
  • 적응성: 인간의 메모리처럼 시간이 지남에 따라 변하고 스스로 조정되는 동적 메모리(dynamic memory systems)가 필요하다.
• 개인화 (Personalization): 장기 메모리를 갖는 목표는 에이전트를 사용자에게 맞춰 조정하는 것이다. 에이전트가 사용자의 선호도(좋아하는 것, 싫어하는 것)를 이해하고 일치하도록 한다.
  • 명시적 선호도: 사용자로부터 명시적으로 수집 가능한 정보(예: 알레르기 유무, 선호하는 좌석).
  • 암묵적 선호도: 명시적으로 알려지지 않은 선호도(예: Adidas 대 Nike 선호 브랜드)로, 사용자의 행동을 기록하여 수동적으로 학습한다,.

6.3. 개인화 시스템 구축의 과제

• 사용자 개인 정보 보호 및 신뢰: 정보를 수집하고 사용자가 이를 제공하도록 설득하는 것이 중요하다.
• 학습 방법:
  • 능동적 학습 (Active learning): 사용자에게 명시적으로 선호도를 묻는 방식.
  • 수동적 학습 (Passive learning): 사용자를 기록하고 그들의 행동을 관찰하여 선호도를 학습하는 방식.
  • 지도 미세 조정 (Supervised fine tuning) 및 인간 피드백 (Human Feedback)(엄지 척/다운)을 통해 시스템을 개인화한다,.

---

7. 에이전트 간 통신 (A2A)

7.1. 다중 에이전트 시스템의 장점

• 다중 에이전트 시스템에서는 인간이 관리자(managers)가 되고 에이전트가 더 나은 실행자(executors)가 될 가능성이 높다.
• 병렬화 (Parallelization): 작업을 더 작은 조각으로 나누어 처리 속도와 효율성을 높일 수 있다.
• 전문화 (Specialization): 특정 에이전트(예: 스프레드시트 에이전트, 웹 브라우저 에이전트)가 자신의 작업에서 매우 뛰어나도록 전문화할 수 있다.

7.2. A2A 통신의 문제점

• 손실성 (Lossiness): 에이전트 간의 통신은 본질적으로 손실이 발생할 수 있다 (인간 조직의 오해와 유사). 한 에이전트에서 다른 에이전트로 정보를 전달할 때 정보의 일부가 손실되어 실수가 시스템 내에 전파될 수 있다.
• 계층 구조 관리: 관리자 에이전트와 작업자 에이전트의 계층 구조를 설정하거나, 평면적 조직 또는 수직적 트리 구조를 설정하는 등 작업에 따라 다양한 시스템이 필요하다.
• 효율적인 통신 교환: 정보를 잃지 않고 통신을 효과적으로 교환하는 방법과, 계층 구조를 가로질러 통신을 동기화하는 기본 요소(syncing primitives)를 구축하는 것이 큰 과제이다.

7.3. 통신 프로토콜

• Model Context Protocol (MCP): Anthropic에서 개발된 프로토콜로, API를 둘러싼 간단한 래퍼(wrapper) 역할을 하여 각 API에 대해 간소화된 표준 형식을 제공한다.
  • 심화 내용: MCP는 서비스를 모듈화하고, 파일 서버, 이메일 클라이언트 등 MCP 지원 서버들이 서로 통신할 수 있게 한다. 이는 일반 인터넷에서 HTTPS와 유사하게, 다양한 에이전트 간의 통신을 위한 표준 인터페이스 역할을 한다,. 이를 통해 API 사양에 의존하지 않고도 변화를 흡수하고 모듈성을 추가할 수 있다.
  • 동적 도구 검색: MCP 서버들이 디렉토리에 노출될 수 있어, 동적으로 도구를 찾고 연결하여 사용할 수 있다.
• Agent to Agent Protocol (A2A): Google에서 최근에 출시된 프로토콜로, 에이전트 간의 공동 통신을 가능하게 하며, 안정성 및 대체(fallback) 메커니즘을 추가하는 데 중점을 둔다.

---

8. 에이전트 실현의 핵심 과제

• 에이전트가 일상생활에 적용되고 유용해지기 위해 해결해야 할 몇 가지 주요 문제가 남아 있다.
• 신뢰성 (Reliability): 시스템은 99.9%에 가까운 신뢰성을 가져야 한다. 에이전트가 결제, 은행, 이메일 같은 민감한 서비스에 접근하는 경우, 시스템이 제멋대로 작동하거나(go rogue) 잘못된 거래를 하거나 소셜 미디어에 잘못된 내용을 게시하는 것을 방지하기 위해 사용자의 신뢰를 얻어야 한다,.
• 루핑 (Looping): 에이전트가 잘못된 작업을 반복하는 루프에 빠져 계산 비용을 낭비할 수 있다. 이를 방지하고 수정하는 것이 중요하다.
• 모니터링 및 안전장치:
  • 실제 환경에서 에이전트를 적절하게 벤치마킹하고, 배포 후 온라인으로 관찰하고 모니터링해야 한다.
  • 감사 추적 (Audit Trails): 에이전트가 수행한 모든 작업을 감사할 수 있는 안전 시스템이 필요하다.
  • 인간 개입 (Human Overrides): 문제가 발생했을 때 원격 운영자나 사용자가 제어권을 넘겨받아 수정할 수 있는 인간 대체(fallback) 메커니즘이 필요하다 (Tesla의 오토파일럿과 유사).

---

9. Q&A 세션: 심화 토론

9.1. Agent Q 훈련에 필요한 컴퓨팅 자원

• 질문: Agent Q를 하루 만에 훈련하는 데 필요한 컴퓨팅 예산은 어느 정도였나 (예: H100 8개 클러스터 등)?
• 답변: 전체 모델은 H100 50개를 사용하여 하루도 안 되는 시간에 훈련되었다.

9.2. AI와 인간 구별 프로토콜

• 질문: AI 에이전트가 인간의 행동을 점점 더 모방함에 따라, 사용자가 대화에서 AI와 인간을 구별하는 데 도움이 될 프로토콜은 무엇인가?
• 답변: 이는 현재 매우 어려운 보안 문제이다. 음성 에이전트도 인간처럼 행동할 수 있기 때문이다.
• 해결책: 시간이 지남에 따라 생체 인식(biometrics)이나 사용자만이 아는 개인 데이터/비밀(password or secrets)의 조합과 같은 인간 신원 증명(human proof of identity)이 필요할 것이다,.

9.3. 다중 에이전트 시스템의 실패와 자연어 통신의 손실성,

• 질문: 다중 에이전트 시스템의 실패 원인에 대한 연구(버클리 논문)가 있다. 에이전트 간의 통신이 20년 전의 분산 시스템/트랜잭션 처리와 크게 다르지 않은데, 단순히 에이전트를 모은다고 지능이 갑자기 향상되는가?
• 답변: 가장 큰 문제는 에이전트들이 자연어(natural language)를 사용하여 통신할 때 많은 오해(miscommunication)를 야기한다는 것이다,.
• 문제의 규모: 에이전트가 N개 있을 때 통신 루프는 N 제곱(N^2)만큼 증가하므로, 시스템의 오류 양도 2차 함수적으로 증가하여 많은 실수가 발생한다.

9.4. 인간 협업 에이전트의 평가 및 인간의 역할,

• 질문: 인간과 협력하는 에이전트의 성능 평가는 어떻게 이루어지며, 인간의 성능이 중복되어 에이전트가 완전히 자율화되는 지점은 언제인가?
• 답변: 실제 세계에서 어떤 일이 일어날지 알기 어렵기 때문에 벤치마크를 구축해야 한다.
• 현황: 현재까지 가장 성공적인 에이전트는 코딩 에이전트이며, 이미 많은 상용구 코드 작성을 자동화하고 있다.
• 미래 역할: 결국 인간은 관리자(managers)가 되고, 에이전트 시스템에 피드백과 방향을 제시하며, 에이전트들은 시스템의 더 나은 실행자(executors)가 될 것이다.

9.5. 40% 정확도에서 99.9% 신뢰도로 가는 경로,

• 질문: 현재 40% 수준의 정확도가 99.9%로 도달하는 것이 연구의 반복으로 가능한가, 아니면 근본적으로 다른 시도가 필요한가?
• 답변: 이는 강화 학습과 자기 개선을 통해 충분히 가능하다.
• 현재 모델의 한계: Claude, GPT-4, Gemini 같은 현재 모델들은 이러한 에이전트 인터페이스 작업에 대해 훈련되지 않았기 때문에 제로 샷(zero shot)으로 작동하며 실패하는 것이다,.
• 훈련의 중요성: Agent Q처럼 RL과 자체 개선을 사용하여 특정 작업에 직접 시스템을 훈련하면 매우 높은 정확도에 도달할 수 있다 (OpenTable 작업에서 95% 달성).
• 일반화의 어려움: 문제는 수백만 개의 웹사이트가 존재한다는 것이다. 모든 웹사이트에서 99.9%를 달성할 수 있는 일반화된 에이전트(generalized agent)를 구축하는 것이 어려운 과제이다.

9.6. AI 에이전트의 CAPTCHA 해결 능력

• 질문: AI 에이전트가 캡차(CAPTCHA)를 해결할 수 있는가, 그리고 그 영향은 무엇인가?
• 답변: 에이전트들은 캡차를 해결할 수 있다. 이는 고양이와 쥐의 게임(cat and mouse game)과 같다.
• 시사점: 인간이 할 수 있는 일은 이론적으로 에이전트도 할 수 있기 때문에, 시간이 지남에 따라 신원을 확인하기 위한 생체 인식이나 2단계 인증 메커니즘을 찾아야 할 것이다.

9.7. AI 에이전트 생성 프로세스의 자동화,

• 질문: AI 연구와 프로그래밍이 자동화되고 있는 추세에서, AI 에이전트 생성 과정 자체도 자동화될 수 있는가? (예: UI/API를 벡터화하고 이를 기반으로 에이전트를 훈련시키는 에이전트 설계)
• 답변: 절대적으로 가능하며, 이미 대규모 연구소에서는 일어나고 있다.
• 현황: OpenAI와 같은 대형 연구소는 이미 연구 에이전트(research agents)를 보유하고 있으며, 사카나 AI(Sakana AI) 같은 곳에서는 연구 논문을 작성하고 모델을 훈련할 수 있는 AI 연구 에이전트에 대한 연구가 진행 중이다.
• 미래: 에이전트가 스스로 개선하고 다른 에이전트를 구축하는 것이 가능하며, 특히 단백질 설계와 같은 어려운 과학 분야의 연구가 자동화될 것이다.

9.8. 에이전트의 신뢰성 및 환각 문제,,

• 질문: 에이전트의 가장 큰 문제는 신뢰성(reliability)과 환각(hallucination)이다. 사용자들은 한 번의 실수도 용납하지 않는다. 실수를 방지하여 실세계에서 사용할 준비가 되게 하려면 어떻게 해야 하는가?
• 답변: 이는 어려운 문제이지만, 모델이 커지고(more parameter size) 더 많은 데이터로 훈련될수록 환각 현상이 줄어든다.
• 해결책:
  1. 기반 모델의 개선: GPT-4나 Claude와 같은 새로운 세대 모델이 나오면서 시스템의 오류가 감소한다,.
  2. 도메인별 테스트: 특정 도메인(예: 99.9% 정확도를 요구하는 특정 영역)에 대해 매우 강력한 테스트 케이스를 구축해야 한다,. 이는 프로덕션 환경이나 오프라인 시뮬레이션에서 매일 테스트하여 회귀(regression)를 확인하는 것을 포함한다.
  3. 강화 학습을 통한 미세 조정: 사용 사례에 맞춰 강화 학습 및 기타 기술을 사용하여 에이전트를 미세 조정한다.

9.9. 대규모 모델(LLM) vs. 소규모 모델(SLM)의 역할,,

• 질문: 에이전트에게 더 큰 '두뇌'가 필요하지 않으며, 소규모 언어 모델(SLM)도 충분하지 않은가?
• 답변: 이미 이러한 징후가 나타나고 있다.
• 추론 흔적(Reasoning Traces) 훈련: 소규모 모델을 추론 흔적에 대해 훈련하면 더 나은 정확도를 얻을 수 있다는 연구 결과가 있다.
• 모델의 경량화: GPT-4o와 같은 새로운 모델 시리즈는 실제로 증류된(distilled) 소규모 모델이지만, 강화 학습 및 기술을 통해 추론에 매우 능숙하도록 미세 조정되었다.
• 가능한 아키텍처: 관리자 에이전트는 대규모 언어 모델이 맡고, 작업자 에이전트는 소규모 언어 모델이 맡는 방식으로 협업하여 효율성을 높일 수 있다.

9.10. 에이전트의 메모리 구현,

• 질문: 컴퓨터 비유에서 (RAM, ROM, 하드 드라이브) AI 에이전트는 현재 RAM(Random Access Memory)만 있고 장기 메모리는 부족한 것 같다. 어떻게 '하드 드라이브'와 같은 시스템을 구현하여 컴퓨터처럼 만들 수 있는가?
• 답변: 이 질문에 대한 정답은 없으며, 구축하려는 애플리케이션과 목표에 따라 다르다. 코딩 작업이라면 코딩 모델이 더 나을 수 있고, 채팅 기반 작업이라면 다른 모델이 더 나을 수 있다.
• 결론: 애플리케이션에 적합한 구성 요소(재료)를 찾아 구축해야 한다.