Agent Laboratory: LLM Agents as RA

What does Agent Laboratory do for you?

Agent Laboratory는 Human Researcher를 대체하기 위한 것이 아닌, 연구 생산성을 극대화하는 Assistant 역할을 수행한다.

연구자는 기획과 비판적 사고에 집중하고, Agent는 코딩, 문헌 검색, 문서화 같은 반복적이고 시간 소모적인 작업을 처리하여 연구 생산성을 극대화한다.

로컬 컴퓨터부터 대규모 GPU 클러스터까지 다양한 컴퓨팅 환경에 맞춰 유연하게 작동한다.

How does Agent Laboratory work?

전체 연구 과정은 실제 인간의 논문 작성 방식과 유사하게 진행된다.
각각의 Phase 마다 LLM으로 작동하는 특화된 Agent들이 서로 협력하고, 최적의 성과를 위해 외부 Tool들을 유기적으로 통합하여 활용한다.

(1) Literature Review: 관련 Paper 수집 및 연구 계획 수립

(2) Experimentation: mle-solver 모듈을 사용해 연구 코드를 Iterative하게 개선

(3) Report Writing: paper-solver 모듈을 통해 학술 논문 형태로 생성

시스템이 모듈 형태로 설계되어 컴퓨팅 자원의 유연성을 보장한다.

사용자가 가진 컴퓨터 사양이 다르더라도 다양한 컴퓨팅 자원 환경을 수용하면서 고품질의 연구의 Output을 만들어낼 수 있다는 가능성을 시사한다.

Solving ML Problems

연구를 하기 위한 첫 걸음은 ML 문제들을 해결하는 능력일 것이다.

Agent Laboratory는 mle-solver를 사용하여 이 문제를 해결하는데, 구체적인 방식은 다음과 같다.

• Iterative한 코드 개선: 이전 단계에서 도출된 연구 방향을 Text 형태로 입력 받은 뒤, Task Instructions, 명령어 설명, 정제된 지식 등을 바탕으로 Scoring Function에 따른 점수를 높이는 방향으로 코드를 수정한다.
• 코드 수정 명령어: REPLACE, EDIT 명령어를 사용하여 전체 코드 및 일부를 수정한다.
• 오류 복구 및 자가 반성(Reflection): 코드가 성공적으로 컴파일 되면, 획득한 점수를 기반으로 업데이트를 수행한다. 오류가 발생하더라도 새로운 코드로 바로 넘어가지 않고, 최대 3번까지 스스로 오류 수정을 시도하며 각 단계마다 결과를 Reflect라고 성과를 정제한다.

⭐ MLE-Bench Evaluation

mle-solver의 문제 해결 능력은 Kaggle Competition을 통해 검증되었는데, OpenHands (gpt-4o), AIDE, MLAB 등 다른 AI Solver들보다 일관되게 높은 점수를 기록하며 총 4번의 메달 순위권에 돌랐다.
10개의 평가 항목 중 6개에서 Human Median 성과를 뛰어넘는 능력을 입증하였다.

Writing Research Reports

두 번째 단계는 연구 보고서를 실험에 기반하여 작성하는 것이다.

paper-solver를 사용하여 사람이 읽을 수 있는 학술 논문을 생성하는데, 어떻게 해당 Task를 수행하는지 알아보자.

이 다이어그램은 paper-solver 툴을 사용하여 Research Report를 생성 및 정제하는 과정을 step-by-step 으로 보여준다.

Initial Report Scaffold

이 워크프로우는 (A): Initial Report Scaffold를 만드는 것으로 시작하는데, LM(이하 Language Mode)이 논문의 Scaffold를 REPLACE와 LaTeX 컴파일러를 거쳐 PDF로 정상 변환되는지 확인하고, 수정을 통해 생성한다.

초록이 완성되면 다음 섹션으로 넘어가 내용을 덧붙이고, 다시 컴파일하여 Scaffold를 Update하는 방식으로 전체 구조가 완성될 때까지 Iterative하게 동작한다.

arXiv Research Tool

섹션을 작성하는 과정은 외부 지식과 단절되어 있지 않은데, Introduction이 Related Work 등 선행 연구 조사가 필수적인 섹션을 작성할 때에는, arXiv research 도구를 호출한다. 이를 통해 실제 arXiv DB에서 최신 paper를 검색하고, 내용을 바탕으로 사실 기반하여 작성한다.

Report Editing

초안 뼈대가 완성되면, 내용을 다듬고 완성도를 높인다.

LM은 기존의 Research, outline, results, PDF report등 모두를 Prompt로 입력 받는다.

초기 뼈대를 잡을 때에는 전체를 수정하는 REPLACE 명령어를 사용했다면, 정교화 단계에서는 EDIT명령어를 사용한다.
→ 기존 논문에서 수정이 필요한 특정 line만 찾아내어 정교하게 다듬는다.

내용이 수정될 때마다 다시 LaTeX 컴파일러를 거쳐, 문버버 오류 등으로 컴파일 실패를 겪으면 다시 수정하고 성공할 때만 다음 평가 단계로 넘어간다.

Paper Review

오류 없이 컴파일 되었다면, 마지막 검증을 받는다.

사전에 정의된 보상 함수를 통해 논문의 질을 평가하고, 품질 보증 단계를 거치는 과정이다.

4.1. Evaluation of quality by Language Model

해당 파트는 [*Human Perception of quality by LM]* 대신 작성한다.

논문의 4.1. Evaluation of quality by language model 섹션은 3가지 다른 대형 언어 모델(gpt-4o, o1-mini, o1-preview)을 벡엔드로 사용하여 Agent Laboratory가 완전 자율모드로 생성한 연구 논문들의 품질을 인간 평가자들이 어떻게 인식하는지 자세히 분석하였다.

평가 지표 및 모델별 성능 비교

평가자들은 생성된 논문을 실험 품질, 보고서 품질, 유용성 세 가지 주요 기준으로 평가하였다.

• o1-preview: 전체 모델 중 연구 보조 도구로서의 유용성과 보고서 품질에서 가장 높은 평가를 받았지만, 실험 품질은 2.9/5 점으로, o1-mini보다 약간 낮았다.
• o1-mini: 실험 품질 부문에서 가장 높은 점수를 기록하였으며, 기술적이고 실험적 측면에서 상대적으로 우수함을 보인다. 유용성과 보고서 품질 또한 준수한 평가를 받았다.
• gpt-4o: 세 모델 중 모든 지표에서 가장 낮은 평가를 받았다. 👎

결과적으로 보고서의 작성과 전반적 유용성 측면에서는 o1-preview가 가장 적합하며, o1-mini는 실험적 결과물을 내는 데 더 강점을 보인다.

⭐자동화된 AI 평가와 실제 인간 평가의 괴리

논문에서는 LLM 리뷰어가 스스로 평가한 ‘자동화된 점수’와 ‘Human Reviewer’의 점수를 비교하였는데, 자동화된 리뷰어는 논문의 품질을 인간 평가자보다 지나치게 Over-estimate하는 경향이 강했다.

→ 자율적 연구 에이전트의 결과물을 검증할 때 단순히 LLM의 자가 평가에 의존해서는 안되며, 인간의 평가와 피드백 수반이 필연적임을 시사한다.

Co-Pilot Quality

인간 연구자가 각각의 subtask가 끝날 때마다 피드백을 제공하는 Co-Pilot 모드에서의 Agent Laboratory 성능을 평가하였다.

평가는 연구 보조 도구로서의 품질과 생성된 논문의 품질이라는 두 가지의 측면에서 이루어졌다.

4.2.1. Quality as a Tool

참여한 연구자들은 Agent Laboratory르르 사용한 경험에 대해 유용성 (3.5/5) , 지속 사용 의향(3.75/5) , 만족도(3.63/5) , 사용 편의성(4.0/5) 을 평가하였다.

Co-Pilot 모드에서의 실험 품질이나 보고서 품질은 자율모드 평가 때보다 오히려 낮게 평가되었는데, 이는 연구자가 Agent를 자신의 정확한 연구 의도대로 실행하게 이끄는 과정에서 어려움을 겪었기 때문으로 보인다.

4.2.2. Evaluation of co-pilot generated papers

생성된 논문의 품질 평가는 연구자 본인의 ‘자체 평가’와 ‘외부 평가자’의 두 가지 방식으로 수행되었다.

• 자체 평가 vs. 외부 평가: 연구자들이 자신이 가이드한 논문을 직접 평가했을 때에는 4.13 / 10 점, 외부 평가자들은 동일한 논문에 4.38 / 10점을 주어 외부에서 보았을 때 논문의 품질과 중요성이 더 높게 평가되는경향을 확인하였다.
• 자율모드와의 비교: 외부 평가 기준으로 볼 때, 인간이 개입한 Co-Pilot 모드로 생성된 논문은 Autonomous Mode로 생성된 논문보다 종합 점수가 평균 0.58점 높았다.

Referred from: https://agentlaboratory.github.io