Abstract
이 논문의 주제는 ADAS라는 새로운 자동화 방식입니다. 메타 에이전트가 코드로 정의된 에이전트를 통해 자동으로 프로그래밍합니다.
->
Q. 에이전트란?
A. 목표을 달성하기 위해 환경과 상호작용하며, 자율적으로 행동하거나 결정을 내리는 시스템 또는 프로그램.
->
Q. 근데 에이전트가 코드로 정의되면 자율적으로 행동하는게 아니지않아?
A. 코드로 정의된 에이전트는 그 자체로 프로그램된 규칙, 목표, 제약 조건 등을 따라 작동함. 이 코드에는 에이전트가 어떤 상황에서 어떻게 반응해야 하는지, 주어진 문제를 어떻게 해결할지에 대한 논리가 포함되어 있음.
코드로 정의되더라도, 에이전트가 스스로 정보를 수집하고, 분석하고, 목표를 달성하기 위해 최적의 행동을 선택할 수 있다면 자율성을 가짐. 예를 들어, 로봇 청소기나 자율주행 자동차도 코드로 정의된 시스템이지만, 환경에 따라 스스로 판단하고 행동함
프로그램 언어가 turing complete하다는 점에서 ADAS는 이론적으로는 새로운 프롬프트, 도구 사용, 제어 흐름 및 그 조합을 포함한 모든 가능한 에이전트 시스템을 학습할 수 있게 합니다.
->
Q. turing complete란?
A. 어떤 시스템이 모든 계산 가능한 문제를 해결할 수 있는 능력을 가지고 있음을 의미
조건 1. 조건문과 반복문을 사용할 수 있음
조건 2. 이론적으로 무한한 메모리 공간을 가질 수 있어야 함
->
Q. 무한한 메모리 공간을 가지는 건 불가능하지 않나?
A. 그래서 이론적 모델이거나 가정할때 사용
이 아이디어를 증명하기 위해 Meta Agent Search라는 간단하면서도 효과적인 알고리즘을 제시하며, 메타 에이전트가 이전의 발견들을 바탕으로 반복적으로 흥미로운 새로운 에이전트를 프로그래밍합니다. 특히, Meta Agent Search가 발명한 에이전트는 도메인과 모델을 넘어서도 뛰어난 성능을 유지하는 놀라운 결과를 일관되게 관찰했으며, 이는 이들의 강력한 일반성을 보여줍니다. 안전하게 개발할 수 있다면, 우리의 연구는 인류에 도움이 되는 점점 더 강력한 에이전트 시스템을 자동으로 설계할 수 있는 새로운 연구 방향의 가능성을 보여줍니다.
->
Q. 안전하지 않으면 어떻게 되는데?
A. 결론에서 알아보자.
Conclusion
연구자들은 Meta Agent Search와 같은 코드 생성 연구에서 신뢰할 수 없는 모델 생성 코드를 실행할 때 안전성 문제를 염두에 두어야 합니다. 현재 설정 및 사용 중인 Foundation Models (FMs)에서는 모델 생성 코드가 명백히 악의적인 행동을 하는 것은 거의 불가능하지만, 모델의 능력이나 정렬의 한계로 인해 파괴적일 수 있습니다. 이상적으로는, 신뢰할 수 없는 모델 생성 코드를 안전하게 실행할 수 있는 샌드박스 환경을 사용하는 것이 좋습니다.
->
Q. 파괴적이어서 안전하지 않다는거네. 근데 악의적일 행동은 뭔데?
A. 데이터 유출, 시스템 손상, 자원 남용(무한루프 등), 보안 취약점 생성을 통한 자기 권한 상승 등이 있음
->
Q. 알겠어 그럼 샌드박스 환경이 뭐야
A. 시스템에서 안전하게 코드를 실행하거나 프로그램을 테스트할 수 있는 격리된 공간을 의미. 가상머신(VMware) 등이 있음.
이런 강력한 Ai 시스템에 대한 연구들이 Ai 능력을 진전시키는 연구를 수행해야하는지에 대한 의문을 제기할 수 있지만 ADAS와 관련하여, 이 연구는 유익하다고 믿습니다.
->
Q. 왜 유익한데?
A. 1. API접근을 통해 ADAS 알고리즘을 프로그래밍 하는 것이 쉽다. 2. GPU와 같은 비싼 하드웨어 없이도 가능하다.
이 연구를 통해 부정직하거나 도움이 되지 않거나 해로운 에이전트를 생성하지 않는 안전한 ADAS 알고리즘 개발에 대한 후속 연구를 촉진하고자 합니다.
페이지 요약 : 메타 에이전트가 에이전트를 이용해서 새로운 코드를 생성할 수 있지만, 아직 안정성에 대한 문제가 더 고려되어야 한다.
