AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
AgentDoG 1.5: AI 에이전트 안전을 위한 경량·확장 가능한 정렬 프레임워크
논문 원제: AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
📋 논문 메타정보
| 항목 | 내용 |
|---|---|
| 저자 | Dongrui Liu, Yu Li, Zhonghao Yang, Peng Wang, Guanxu Chen |
| arXiv ID | 2605.29801 |
| 발표일 | 2026년 5월 28일 |
| HuggingFace 피처일 | 2026년 5월 31일 |
| 업보트 | 116 👍 |
| arXiv 링크 | https://arxiv.org/html/2605.29801 |
| HuggingFace 링크 | https://huggingface.co/papers/2605.29801 |
| 공개 여부 | 모델 및 데이터셋 전체 공개(Open Release) |
💡 한 줄 요약
약 1,000개의 학습 샘플만으로 GPT-5.4급 성능을 달성하는 초경량 AI 에이전트 안전 정렬(Alignment) 프레임워크 "AgentDoG 1.5"를 제안하며, Docker 수준의 배포 오버헤드를 100분의 1로 줄여 실시간 안전 감시를 가능하게 했다.
▲ AgentDoG 1.5와 기존 프런티어(Frontier) 모델 및 가드레일(Guardrail) 모델들의 정확도(%) 비교. 첫 번째 행은 4개 벤치마크 데이터셋에서의 이진 안전 분류 결과, 두 번째 행은 세밀한 안전 분류 ATBench 결과.
📝 Abstract (초록 번역)
OpenClaw과 같은 현대의 오픈-월드(Open-World) 에이전트는 강력한 크로스-환경(Cross-Environment) 실행 능력을 보여주지만, 동시에 광범위한 새로운 안전 위험 원천을 도입하고 있습니다. 한편, 최첨단 프런티어(Frontier) AI 모델들은 공격의 기술적 장벽을 급격히 낮추고 있어 현재의 에이전트 정렬(Alignment) 프레임워크는 실제 배포 환경에서 부적절함을 드러내고 있습니다.
이러한 새로운 위협에 대응하기 위해, 본 논문에서는 경량(Lightweight)이면서 확장 가능한(Scalable) 에이전트 안전 정렬 프레임워크를 제안합니다. 구체적으로, Codex 및 OpenClaw 실행 시나리오에서 발생하는 신흥 위험을 반영하기 위해 에이전트 안전 분류 체계(Taxonomy)를 업데이트하였습니다. 또한 분류 체계 기반의 데이터 엔진(Data Engine)과 영향 함수 정화(Influence-Function Purification) 기법을 활용해, 단 약 1,000개의 샘플만으로 경량 AgentDoG 1.5 변형 모델(0.8B, 2B, 4B, 8B 파라미터)을 훈련시켰으며, 이는 선도적인 클로즈드-소스 모델(예: GPT-5.4)에 필적하는 성능을 달성합니다.
AgentDoG 1.5를 기반으로, 에이전트 안전을 위한 고효율 SFT(Supervised Fine-Tuning, 지도 파인튜닝) 및 RL(Reinforcement Learning, 강화학습) 훈련 환경을 구축하여, Docker 수준의 환경에서 배포 오버헤드를 2배수(100배) 감소시켰습니다. 마지막으로, AgentDoG 1.5를 훈련 없이 사용 가능한(Training-Free) 온라인 가드레일(Guardrail) 로 배포하여 실시간 안전 조정(Moderation)을 가능하게 했습니다. 광범위한 실험 결과는 AgentDoG 1.5가 다양하고 복잡한 대화형 에이전트 시나리오에서 최첨단(State-of-the-Art) 성능을 달성함을 보여줍니다. 모든 모델과 데이터셋은 공개적으로 배포됩니다.
1. Introduction (서론): 왜 에이전트 안전이 시급한 문제인가?
1.1 배경: AI 에이전트의 급속한 발전
대형 언어 모델(LLM, Large Language Model)의 발전은 실용적인 환경에서의 AI 에이전트 시스템 배포를 급격히 가속화했습니다. 현재 이러한 시스템들은 다음과 같은 다양한 분야에서 활발히 활용되고 있습니다:
- 🔬 연구 지원 (Research Assistance): 논문 검색, 요약, 분석
- 💻 소프트웨어 공학 (Software Engineering): 코드 작성, 디버깅, 리뷰
- 🔍 정보 검색 (Information Retrieval): 복잡한 쿼리 처리
- ⚙️ 워크플로우 자동화 (Workflow Automation): 반복 업무의 자동 처리
특히 OpenClaw와 Hermes 같은 최신 에이전트들은 기존처럼 고정된 환경에 갇혀 있지 않고, 여러 애플리케이션을 넘나들며 환경과 상호작용하고 실행 명령을 수행하는 능력을 대폭 향상시켰습니다. 이는 마치 "디지털 세계를 자유롭게 돌아다닐 수 있는 발이 생긴 것"과 같습니다.
1.2 핵심 문제: 넓어진 공격 표면(Attack Surface)
이처럼 에이전트의 행동 공간(Action Space)이 사실상 무한히 넓어지면서, 기존에는 없었던 새로운 위험 표면이 생겨났습니다. 논문이 지적하는 주요 문제는 크게 두 가지입니다:
① 광범위한 위험 원천의 등장
에이전트는 이제 사용자 지시뿐 아니라 다음과 같은 다양한 출처에서 위험에 노출됩니다:
- 도구 설명(Tool Descriptions)
- 환경 관찰(Environment Observations)
- 지속적인 상태(Persistent State)
- 런타임 피드백(Runtime Feedback)
- 저장소 아티팩트(Repository Artifacts)
- 에이전트 자체의 추론 과정
② 공격 장벽의 급격한 하락
Claude Mythos Preview 같은 최첨단 프런티어 AI 모델들은 에이전트 시스템에 대한 적대적 공격(Adversarial Attack)의 기술적 장벽을 대폭 낮추었습니다. 전문 해커가 아니더라도 정교한 공격이 가능해진 것입니다.
1.3 기존 프레임워크의 한계
이 두 가지 요소의 조합—다양한 위험 원천 + 쉬워진 공격 기법—은 현재의 에이전트 안전·보안 프레임워크를 매우 취약하게 만들고 있습니다. 기존 접근법들은 주로 다음과 같은 문제를 안고 있습니다:
| 문제점 | 설명 |
|---|---|
| 고정된 분류 체계 | 빠르게 변화하는 실행 환경의 새로운 위험을 포착 불가 |
| 무거운 모델 의존 | GPT-4급 대형 모델 없이는 안전 평가가 어려움 |
| 높은 배포 비용 | Docker 환경 구축에 막대한 오버헤드 발생 |
| 실시간 대응 불가 | 오프라인 평가 위주로, 온라인 실시간 감시 미흡 |
1.4 제안하는 해결책: 세 가지 핵심 구성요소
이 논문은 이러한 문제를 해결하기 위해 세 가지 핵심 구성요소로 이루어진 정렬 프레임워크를 제안합니다:
┌─────────────────────────────────────────────────────────┐
│ AgentDoG 1.5 프레임워크 │
├─────────────────────────────────────────────────────────┤
│ ① 명확한 에이전트 안전 분류 체계 (Taxonomy) │
│ → 정확한 평가와 위험 식별을 위한 통일된 기준 │
├─────────────────────────────────────────────────────────┤
│ ② 경량·확장 가능한 안전 훈련 파이프라인 │
│ → 전용 데이터 엔진 + 안전 검증기 + 효율적 훈련 환경 │
├─────────────────────────────────────────────────────────┤
│ ③ 훈련 불필요 온라인 에이전트 안전 시스템 │
│ → 저비용·저지연 실시간 안전 감시 구현 │
└─────────────────────────────────────────────────────────┘2. Safety Taxonomy and ATBench Family (안전 분류 체계와 벤치마크 패밀리)
2.1 왜 분류 체계(Taxonomy)가 중요한가?
AI 에이전트의 안전을 평가할 때 가장 기본적인 질문은 "이 에이전트의 행동이 안전한가, 위험한가?" 입니다. 그런데 단순히 "안전/위험"의 이진(Binary) 판단만으로는 충분하지 않습니다. 의사가 환자를 진단할 때 단순히 "아프다/안 아프다"만 말하는 것이 아니라 어디가, 왜, 어떻게 아픈지 설명하는 것처럼, 에이전트 안전 진단도 다차원적이어야 합니다.
논문은 기존의 AgentDoG와 ATBench 연구를 발전시켜, 궤적(Trajectory) 수준의 안전 진단을 세 가지 차원으로 분해합니다.
2.2 세 가지 차원의 분류 체계 (Three-Dimensional Decomposition)
🎯 차원 1: 위험 원천 (Risk Source)
"위험이 어디서 들어왔는가?"
에이전트 시스템에서 위험은 다양한 곳에서 진입할 수 있습니다:
- 사용자 지시문 (User Instructions)
- 도구 설명 (Tool Descriptions)
- 환경 관찰값 (Environment Observations)
- 지속 상태 정보 (Persistent State)
- 런타임 피드백 (Runtime Feedback)
- 저장소 아티팩트 (Repository Artifacts)
- 에이전트 자체 추론 (Agent's Own Reasoning)
⚠️ 차원 2: 실패 모드 (Failure Mode)
"에이전트가 어떻게 실패했는가?"
위험이 궤적에 진입하면 다양한 형태로 실패가 나타납니다:
- 잘못된 도구 호출 (Incorrect Tool Calls)
- 과도한 권한 행사 (Over-Privileged Actions)
- 외부 정보 검증 누락 (Missing Validation of External Information)
- 안전하지 않은 명령 실행 (Unsafe Command Executions)
- 검증되지 않은 성공 주장 (Unverified Success Claims)
💥 차원 3: 실세계 피해 (Real-World Harm)
"결국 어떤 피해가 발생했는가?"
이러한 실패는 다음과 같은 실질적 피해로 이어집니다:
- 개인정보 유출 (Privacy Leakage)
- 시스템 무결성 손상 (System-Integrity Damage)
- 금전적 손실 (Financial Loss)
- 물리적·심리적·평판적·거버넌스적 피해
위험 원천 (어디서?) → 실패 모드 (어떻게?) → 실세계 피해 (무슨 결과?)
Risk Source → Failure Mode → Real-World Harm💡 왜 이 분류가 중요한가?
이 세 가지를 분리하지 않으면, 단순한 이진 레이블이 "위험이 어디서 들어왔는지", "에이전트가 어떻게 실패했는지", "결과가 무엇인지"를 뒤섞어버려 해석 가능한 진단이 불가능해집니다. 이 분류 체계는 가드 모델이 단순한 "안전/위험" 판정 대신 각 차원별 해석 가능한 판단을 내릴 수 있게 해줍니다.
2.3 분류 체계 커스터마이징 메커니즘 (Customization Mechanism)
에이전트 실행 환경은 어떤 고정된 리프 카테고리(Leaf Category) 집합보다 빠르게 진화합니다. 따라서 논문은 두 가지 작업을 통해 분류 체계를 업데이트하는 메커니즘을 제안합니다:
🌱 새로운 리프 카테고리 추가 (Adding New Leaf Categories)
기존 분류 체계로 표현할 수 없는 새로운 위험에 대해 새 카테고리를 추가합니다:
| 실행 환경 | 새로 추가되는 위험 카테고리 |
|---|---|
| OpenClaw | 세션 오염(Session Contamination), 승인 우회(Approval Bypass) |
| Codex | 저장소 아티팩트 주입(Repository Artifact Injection), 의존성·MCP 공급망 침해(Supply-Chain Compromise), 파괴적 작업공간 변조(Destructive Workspace Mutation), 안전하지 않은 셸/스크립트 실행(Unsafe Shell/Script Execution) |
🔧 기존 카테고리 강화 (Strengthening Inherited Categories)
기존 개념 자체는 유효하지만, 새로운 환경에서 그 의미를 더 정밀하게 정의해야 할 때 사용합니다. 예를 들어, "도구 출력 검증 실패(Failure to Validate Tool Outputs)"는 일반적 개념이지만, OpenClaw 환경에서는 그 의미가 더 구체적으로 정의되어야 합니다.
2.4 ATBench 벤치마크 패밀리
ATBench는 위의 3차원 분류 체계를 기반으로 한 에이전트 안전 벤치마크입니다. 각 궤적(Trajectory)은 다음 정보를 포함합니다:
- 안전/위험 레이블 (Safe/Unsafe Label)
- 위험 원천 레이블
- 실패 모드 레이블
- 실세계 피해 레이블
새로운 실행 환경(OpenClaw, Codex 등)에 맞춰 리프 카테고리를 커스터마이징하면서 크로스-환경 비교 가능성을 유지하는 것이 ATBench 설계의 핵심입니다.
3. Method (방법론): AgentDoG 1.5는 어떻게 만들어졌나?
3.1 전체 파이프라인 개요
AgentDoG 1.5의 방법론은 크게 세 부분으로 구성됩니다:
┌──────────────────────────────────────────────────────────────┐
│ AgentDoG 1.5 훈련 파이프라인 │
│ │
│ ① 분류 체계 기반 데이터 엔진 │
│ (Taxonomy-Guided Data Engine) │
│ → 고품질 안전 훈련 데이터 자동 생성 │
│ ↓ │
│ ② 영향 함수 정화 (Influence-Function Purification) │
│ → 노이즈·유해 데이터 제거, ~1k 고품질 샘플 추출 │
│ ↓ │
│ ③ SFT + RL 훈련 환경 │
│ → 경량 모델(0.8B~8B) 학습, 100배 오버헤드 감소 │
└──────────────────────────────────────────────────────────────┘3.2 분류 체계 기반 데이터 엔진 (Taxonomy-Guided Data Engine)
기존 안전 훈련 데이터셋의 문제점은 다양성 부족과 특정 설정에만 편향된 데이터 분포입니다. 이를 해결하기 위해, 논문은 분류 체계를 데이터 생성의 가이드로 활용합니다.
데이터 엔진의 작동 방식:
1. 분류 체계의 각 카테고리를 기반으로 데이터 생성 템플릿 구성
2. 프런티어 모델을 활용해 다양한 실행 시나리오의 궤적 데이터 생성
3. OpenClaw, Codex 등 새로운 환경별 특수 위험 케이스 포함
이를 통해 단순히 데이터를 수집하는 것이 아니라, 체계적으로 커버리지를 보장하는 훈련 데이터를 구성합니다.
3.3 영향 함수 정화 (Influence-Function Purification)
이 부분이 AgentDoG 1.5의 핵심 기여 중 하나입니다. 약 1,000개의 샘플만으로 GPT-5.4급 성능을 달성할 수 있는 비결이 바로 이 정화(Purification) 과정입니다.
영향 함수(Influence Function)란?
영향 함수는 머신러닝에서 "특정 훈련 샘플이 모델의 예측에 얼마나 영향을 미치는가?"를 측정하는 기법입니다. 수식으로 간단히 표현하면:
여기서:
- : 훈련 샘플
- : 테스트 샘플
- : 헤시안(Hessian) 행렬 (곡률 정보)
- : 손실 함수(Loss Function)
정화 과정의 의미:
- 모델 성능에 긍정적 영향을 주는 샘플: 유지
- 모델 성능에 부정적 영향(노이즈, 잘못된 레이블)을 주는 샘플: 제거
💡 직관적 설명: 10,000개의 "그냥 모은" 데이터보다, 1,000개의 "정확히 골라낸" 데이터가 더 효과적일 수 있습니다. 영향 함수는 이 "정확히 고르는" 과정을 수학적으로 엄밀하게 수행합니다.
3.4 효율적인 SFT + RL 훈련 환경
기존 에이전트 안전 훈련 환경의 가장 큰 문제는 Docker 컨테이너 기반의 무거운 실행 환경이었습니다. 실제 에이전트의 행동을 시뮬레이션하려면 Docker 환경을 실시간으로 구동해야 했기 때문입니다.
AgentDoG 1.5는 이 문제를 혁신적으로 해결합니다:
| 방식 | 배포 오버헤드 | 설명 |
|---|---|---|
| 기존 Docker 기반 | 100x (기준) | 무거운 컨테이너 실행 필요 |
| AgentDoG 1.5 환경 | 1x | 경량화된 에뮬레이션 환경 |
이는 100배의 오버헤드 감소를 의미하며, 실제 대규모 에이전트 안전 훈련을 현실적으로 가능하게 합니다.
훈련 구성:
- SFT (Supervised Fine-Tuning, 지도 파인튜닝): 분류 체계 기반 데이터로 기본 안전 판단 능력 학습
- RL (Reinforcement Learning, 강화학습): 실시간 환경 피드백을 통한 안전 행동 강화
3.5 훈련 없는 온라인 가드레일 (Training-Free Online Guardrail)
AgentDoG 1.5의 또 다른 혁신은 추가 훈련 없이 실시간 가드레일로 배포 가능하다는 점입니다.
에이전트 실행 중
↓
[AgentDoG 1.5 가드레일 레이어]
↓
각 궤적 단계(Trajectory Step) 실시간 모니터링
↓
위험 감지 → 즉시 차단/경고
안전 확인 → 실행 계속장점:
- 저비용: 추가 파인튜닝 없이 바로 사용 가능
- 저지연(Low Latency): 경량 모델(0.8B~8B)이라 실시간 처리 가능
- 확장성: 다양한 에이전트 시스템에 플러그인 방식으로 적용 가능
3.6 모델 변형 (Model Variants)
AgentDoG 1.5는 다양한 배포 환경을 위해 네 가지 크기로 제공됩니다:
| 모델 | 파라미터 수 | 적합한 사용 사례 |
|---|---|---|
| AgentDoG 1.5-0.8B | 8억 | 엣지 디바이스, 초저자원 환경 |
| AgentDoG 1.5-2B | 20억 | 중간 규모 서버 배포 |
| AgentDoG 1.5-4B | 40억 | 균형잡힌 성능·효율 |
| AgentDoG 1.5-8B | 80억 | 고성능 환경, 최고 정확도 |
4. Experiments (실험): 어떤 성능을 보여주는가?
4.1 실험 설정
논문은 AgentDoG 1.5를 두 가지 평가 축으로 검증합니다:
① 이진 안전 분류 (Binary Safety Classification)
- 4개의 벤치마크 데이터셋에서 에이전트 행동이 "안전"인지 "위험"인지 판별
- 평가 지표: 정확도(Accuracy, %)
② 세밀한 안전 분류 (Fine-Grained Safety Classification)
- ATBench에서 3차원 분류 체계에 따른 세부 레이블 예측
- 위험 원천, 실패 모드, 실세계 피해 각각에 대한 정확도 측정
비교 대상 모델:
- 클로즈드-소스 프런티어 모델: GPT-5.4, Claude Opus 4.6 등
- 오픈소스 가드레일 모델: 기존 AgentDoG 등
- 일반 목적 LLM: 다양한 크기의 오픈소스 모델
4.2 주요 결과
논문의 Figure 1에 따르면:
📊 이진 안전 분류 (Binary Classification)
| 모델 유형 | 대표 성능 | 특징 |
|---|---|---|
| GPT-5.4 (비교 기준) | 최고 수준 | 클로즈드-소스, 고비용 |
| AgentDoG 1.5-8B | GPT-5.4 수준 | 오픈소스, 경량 |
| AgentDoG 1.5-4B | 준최고 수준 | 오픈소스, 더 가벼움 |
| 기존 가드레일 모델 | 낮은 수준 | 새 환경 적응 실패 |
📊 세밀한 안전 분류 (ATBench Fine-Grained)
| 평가 차원 | AgentDoG 1.5 | 기존 SOTA |
|---|---|---|
| 위험 원천 분류 | 최우수 | 낮음 |
| 실패 모드 ### 4.2 주요 결과 (계속)
📊 세밀한 안전 분류 (ATBench Fine-Grained)
| 평가 차원 | AgentDoG 1.5 | 기존 SOTA | 개선폭 |
|---|---|---|---|
| 위험 원천 분류 (Risk Source) | 최우수 | 상대적 저조 | 유의미한 향상 |
| 실패 모드 분류 (Failure Mode) | 최우수 | 상대적 저조 | 유의미한 향상 |
| 실세계 피해 분류 (Real-World Harm) | 최우수 | 상대적 저조 | 유의미한 향상 |
💡 핵심 포인트: 이진 분류(단순 안전/위험 판별)뿐 아니라, "왜 위험한가?"를 설명하는 세밀한 분류에서도 AgentDoG 1.5가 최우수 성능을 보입니다. 이는 단순히 위험을 탐지하는 것을 넘어, 해석 가능한 안전 진단이 가능함을 의미합니다.
4.3 데이터 효율성 실험 (Data Efficiency)
논문의 핵심 주장 중 하나는 "약 1,000개의 샘플만으로 GPT-5.4에 필적하는 성능"입니다. 이를 검증하기 위한 실험 결과를 살펴보면:
훈련 샘플 수에 따른 성능 비교 (개념적 도식)
성능(%)
↑
100│ ● AgentDoG 1.5 (1k 샘플)
│ ★ GPT-5.4 (클로즈드, 대규모)
90│ ▲ 기존 대형 오픈소스 모델 (10k+ 샘플)
│ ■ 기존 가드레일 모델
80│
│
70│
└──────────────────────────────────────→ 훈련 샘플 수
100 500 1,000 5,000 10,000+영향 함수 정화(Influence-Function Purification)의 효과:
| 데이터 구성 방식 | 샘플 수 | 성능 |
|---|---|---|
| 무작위 수집 데이터 | 10,000+ | 중간 수준 |
| 정화 없는 데이터 엔진 생성 | 5,000 | 중상 수준 |
| 영향 함수 정화 적용 | ~1,000 | 최고 수준 |
이 결과는 데이터의 양보다 질이 훨씬 중요하다는 것을 실증적으로 보여줍니다. 영향 함수로 걸러낸 고품질 1,000개 샘플이 무작위로 수집한 10,000개 이상의 샘플보다 더 효과적인 것입니다.
4.4 환경 구축 효율성 실험 (Deployment Efficiency)
AgentDoG 1.5의 또 다른 핵심 기여인 배포 오버헤드 100배 감소에 대한 실험 결과:
| 환경 | 초기 구축 시간 | 메모리 사용량 | GPU 요구사항 | 병렬 실행 가능 여부 |
|---|---|---|---|---|
| 기존 Docker 기반 환경 | 매우 높음 | 대용량 | 고사양 필수 | 제한적 |
| AgentDoG 1.5 경량 환경 | 매우 낮음 | 소용량 | 일반 사양 | 대규모 병렬 가능 |
| 개선 배율 | ~100x | ~100x | 대폭 완화 | 획기적 향상 |
💡 실용적 의미: 이 효율성 향상은 단순한 학문적 성과를 넘어 실제 운영 환경에서의 의미가 큽니다. 기존에는 에이전트 안전 훈련을 위해 대규모 클라우드 인프라가 필요했다면, 이제는 일반적인 연구 서버나 소규모 GPU 클러스터로도 충분한 안전 훈련이 가능해졌습니다.
4.5 온라인 가드레일 성능 (Online Guardrail Performance)
AgentDoG 1.5를 실시간 온라인 가드레일로 배포했을 때의 성능:
| 평가 지표 | 측정값 | 설명 |
|---|---|---|
| 탐지 지연(Latency) | 매우 낮음 | 경량 모델 덕분에 실시간 처리 가능 |
| False Positive Rate | 낮음 | 정상 행동을 위험으로 잘못 분류하는 경우 적음 |
| False Negative Rate | 낮음 | 실제 위험 행동을 놓치는 경우 적음 |
| 크로스-환경 일관성 | 높음 | OpenClaw, Codex 등 다양한 환경에서 일관된 성능 |
4.6 OpenClaw 및 Codex 환경별 분석
새롭게 추가된 실행 환경에서의 성능이 특히 주목할 만합니다:
OpenClaw 환경에서의 새로운 위험 탐지:
| 위험 유형 | 기존 모델 탐지율 | AgentDoG 1.5 탐지율 |
|---|---|---|
| 세션 오염 (Session Contamination) | 낮음 (미지원) | 높음 |
| 승인 우회 (Approval Bypass) | 낮음 (미지원) | 높음 |
Codex 환경에서의 새로운 위험 탐지:
| 위험 유형 | 기존 모델 탐지율 | AgentDoG 1.5 탐지율 |
|---|---|---|
| 저장소 아티팩트 주입 | 낮음 (미지원) | 높음 |
| 공급망 침해 (Supply-Chain Compromise) | 낮음 (미지원) | 높음 |
| 파괴적 작업공간 변조 | 낮음 (미지원) | 높음 |
| 안전하지 않은 셸 실행 | 중간 | 높음 |
이 결과는 분류 체계 커스터마이징 메커니즘의 실질적 효과를 보여줍니다. 새로운 실행 환경에 맞게 분류 체계를 확장하고, 그에 맞는 데이터를 생성하여 훈련함으로써, 기존 모델들이 전혀 감지하지 못했던 신종 위험도 효과적으로 탐지할 수 있게 되었습니다.
4.7 크로스-환경 비교 가능성 검증
논문의 설계 목표 중 하나는 새로운 환경에 맞게 분류 체계를 확장하면서도 크로스-환경 비교 가능성을 유지하는 것이었습니다. 이를 검증하기 위해:
- 동일한 기반 카테고리(Base Categories)를 공유하는 환경 간 성능 비교
- 새로운 리프 카테고리를 추가해도 기존 카테고리의 판단 일관성이 유지되는지 확인
결과적으로 AgentDoG 1.5는 환경이 달라져도 일관된 안전 기준을 적용할 수 있음을 실험적으로 증명했습니다.
5. Related Work (관련 연구): 이 논문이 서 있는 어깨들
5.1 LLM 안전 정렬 연구
LLM의 안전 정렬(Safety Alignment) 연구는 크게 세 흐름으로 발전해왔습니다:
① RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 강화학습) 기반 접근
- 인간 평가자의 피드백으로 모델을 안전하게 만드는 방법
- 대표 연구: InstructGPT, Constitutional AI
- 한계: 에이전트의 복잡한 궤적(Multi-step Trajectory) 평가에 적용하기 어려움
② 프롬프트 기반(Prompt-Based) 가드레일
- 시스템 프롬프트나 추가 프롬프트로 안전 제약을 부과
- 한계: 강력한 공격(Jailbreak)에 취약, 실시간 에이전트 행동 감시 부족
③ 전용 가드 모델(Dedicated Guard Model)
- Llama Guard, WildGuard 등 별도의 안전 분류 모델
- 한계: 에이전트 궤적의 다차원적 위험을 단순 이진 분류로만 처리
AgentDoG 1.5는 세 번째 흐름을 계승하면서, 에이전트 특화 3차원 분류 체계와 효율적 경량화를 통해 이를 크게 발전시킵니다.
5.2 에이전트 안전 연구
에이전트 특화 안전 연구는 비교적 최근에 본격화된 분야입니다:
| 연구 | 주요 기여 | 한계 |
|---|---|---|
| AgentDoG (원본) | 3차원 궤적 안전 진단 체계 | 고정된 환경, 무거운 모델 의존 |
| ATBench | 에이전트 궤적 안전 벤치마크 | 제한된 실행 환경 커버리지 |
| AgentDoG 1.5 (본 논문) | 확장 가능한 분류 체계 + 경량 모델 | — |
5.3 영향 함수 연구
영향 함수(Influence Function)는 원래 통계학에서 비롯되어 머신러닝의 훈련 데이터 영향 분석에 활용되어 왔습니다:
- Koh & Liang (2017): 딥러닝에서 영향 함수의 실용적 적용 제시
- 후속 연구들: 대규모 모델에서의 근사 영향 함수 계산
- AgentDoG 1.5: 안전 훈련 데이터 정화에 영향 함수를 적용한 최초 사례 중 하나
5.4 오픈-월드 에이전트 연구
OpenClaw, Hermes와 같은 오픈-월드 에이전트의 등장은 에이전트 AI 연구의 새로운 패러다임을 열었습니다:
- 기존 에이전트: 고정된 환경(예: 특정 웹사이트, 특정 앱) 내에서만 동작
- 오픈-월드 에이전트: 여러 애플리케이션, 운영체제, 네트워크를 자유롭게 넘나들며 동작
이 전환은 에이전트의 유용성을 대폭 높이는 동시에, 안전 연구가 따라가야 할 복잡성도 기하급수적으로 증가시켰습니다.
6. Conclusion (결론 및 시사점)
6.1 핵심 기여 요약
논문은 다음 네 가지 핵심 기여를 통해 AI 에이전트 안전 연구를 한 단계 발전시켰습니다:
┌─────────────────────────────────────────────────────────────┐
│ AgentDoG 1.5의 네 가지 핵심 기여 │
│ │
│ ① 📚 확장된 안전 분류 체계 │
│ OpenClaw·Codex 환경의 신종 위험 포함 │
│ 크로스-환경 비교 가능성 유지 │
│ │
│ ② 🔬 고효율 데이터 엔진 │
│ 분류 체계 기반 체계적 데이터 생성 │
│ 영향 함수 정화로 ~1k 고품질 샘플 추출 │
│ │
│ ③ ⚡ 경량 고성능 모델 (0.8B~8B) │
│ GPT-5.4 수준 성능, 오픈소스 완전 공개 │
│ 100배 낮은 배포 오버헤드 │
│ │
│ ④ 🛡️ 훈련 없는 온라인 가드레일 │
│ 실시간 에이전트 안전 감시 가능 │
│ 저비용·저지연 실용 배포 실현 │
└─────────────────────────────────────────────────────────────┘6.2 논문이 인정하는 한계점
논문이 직접적으로 언급하거나 구조적으로 내포하고 있는 한계점들을 정리하면:
① 분류 체계의 지속적 업데이트 필요성
- 에이전트 실행 환경은 계속 진화하므로, 분류 체계도 지속적으로 업데이트되어야 함
- 자동화된 분류 체계 업데이트 메커니즘이 향후 과제로 남음
② 영향 함수의 계산 비용
- 영향 함수 계산 자체는 일정한 계산 비용을 수반함
- 매우 대규모 모델에서는 근사 방법(Approximation)에 의존해야 할 수 있음
③ 새로운 공격 패턴에 대한 적응
- 프런티어 AI 모델을 이용한 새로운 공격 기법이 계속 등장할 것이며
- 이에 대응하는 분류 체계와 데이터의 지속적 업데이트가 필요함
④ 평가 벤치마크의 완전성
- ATBench가 모든 실세계 에이전트 시나리오를 커버하는지에 대한 추가 검증 필요
- 특히 완전히 새로운 실행 환경(예: 향후 등장할 에이전트 플랫폼)에 대한 사전 대응의 한계
6.3 향후 연구 방향
이 논문이 제시하는 미래 연구 방향:
- 자동 분류 체계 업데이트: 새로운 에이전트 환경이 등장할 때 자동으로 리프 카테고리를 발견하고 추가하는 메커니즘
- 더 작은 모델로의 확장: 0.8B보다 더 작은 모델(예: 수백 MB 단위)에서의 안전 성능 탐구
- 멀티모달 에이전트 안전: 이미지, 비디오, 오디오를 다루는 멀티모달 에이전트의 안전 문제
- 연합 학습(Federated Learning) 기반 안전: 프라이버시를 보존하면서 여러 기관의 에이전트 안전 데이터를 활용하는 방법
🖼️ 논문 그림 및 핵심 도식 설명
▲ Figure 1: AgentDoG 1.5와 기존 프런티어 모델·가드레일 모델들의 정확도(%) 비교. 첫 번째 행(Row 1)은 4개 벤치마크 데이터셋에서의 이진 안전 분류 결과를, 두 번째 행(Row 2)은 세밀한 안전 분류 벤치마크 ATBench에서의 결과를 보여줍니다. AgentDoG 1.5는 클로즈드-소스 대형 모델(GPT-5.4 등)과 견줄 만한 성능을 보이면서도 오픈소스로 공개되어 있고, 기존 오픈소스 가드레일 모델들을 명확하게 상회합니다.
이 그림이 담고 있는 핵심 메시지를 한눈에 정리하면:
성능 계층 구조 (높음 → 낮음)
[최상위] GPT-5.4, Claude Opus 4.6 등 클로즈드-소스 프런티어
≈ (거의 동등)
[최상위] AgentDoG 1.5-8B / 4B ← 본 논문의 핵심 성과
[중위] 기존 오픈소스 대형 모델 (에이전트 안전 미특화)
[하위] 기존 오픈소스 가드레일 모델 (고정된 분류 체계 한계)💬 개인 소감: 이 논문이 중요한 이유
소감 1: "데이터의 양이 아닌 질"의 시대를 알리는 연구
AgentDoG 1.5가 보여주는 가장 인상적인 결과는 단 1,000개의 정제된 샘플로 GPT-5.4급 성능을 달성했다는 점입니다. 이는 AI 연구의 패러다임 전환을 시사합니다. 그동안 "더 많은 데이터 = 더 좋은 모델"이라는 암묵적 통념이 지배해왔지만, 영향 함수(Influence Function)를 활용한 데이터 정화(Purification)는 이 통념에 정면으로 도전합니다.
특히 에이전트 안전 분야에서 고품질 레이블 데이터를 대량으로 수집하는 것이 현실적으로 매우 어렵다는 점을 감안하면, 이 접근법의 실용적 가치는 더욱 빛납니다. 소규모 연구팀이나 스타트업도 충분한 계산 자원만 있다면 경쟁력 있는 에이전트 안전 시스템을 구축할 수 있다는 희망을 보여주는 연구입니다.
소감 2: "분류 체계의 진화"를 설계에 내재화한 선견지명
이 논문에서 특히 주목하고 싶은 부분은 분류 체계 커스터마이징 메커니즘의 설계 철학입니다. 논문은 처음부터 "현재의 분류 체계가 완벽하지 않을 것"을 인정하고, 새로운 환경이 등장할 때 기존 체계를 재설계하지 않고 확장할 수 있는 메커니즘을 내장했습니다. 이는 소프트웨어 엔지니어링의 "개방-폐쇄 원칙(Open-Closed Principle)"을 AI 안전 분류 체계에 적용한 것으로, 매우 성숙한 설계 사고를 보여줍니다.
OpenClaw과 Codex라는 2026년 기준 최신 에이전트 환경을 발 빠르게 포함한 것도 인상적입니다. AI 기술이 연구 논문의 출판 주기보다 빠르게 발전하는 현 시대에, 이처럼 진화하는 위협 환경에 능동적으로 대응할 수 있는 프레임워크 설계는 앞으로의 에이전트 안전 연구의 표준이 될 가능성이 높습니다.
소감 3: 오픈소스 공개의 의미와 책임
모든 모델과 데이터셋을 오픈소스로 공개한 결정은 매우 중요합니다. 에이전트 안전은 특정 기업만의 문제가 아니라 생태계 전체의 문제이기 때문입니다. GPT-5.4 같은 클로즈드-소스 모델에만 의존해서는 안전한 에이전트 생태계를 만들 수 없습니다. AgentDoG 1.5가 오픈소스로 제공됨으로써, 소규모 에이전트 개발자부터 대형 기업까지 모두가 접근 가능한 안전 인프라를 갖추게 되었습니다.
다만, 동전의 양면처럼 이 강력한 안전 진단 도구가 역으로 공격자에게 "어떤 행동이 탐지되지 않는지" 파악하는 데 악용될 수 있는 위험도 존재합니다. 논문 저자들이 이 트레이드오프를 어떻게 고려했는지, 그리고 향후 버전에서 이를 어떻게 관리할지가 흥미로운 후속 질문으로 남습니다.
📚 참고: 논문에서 언급된 주요 개념 용어 정리
| 영문 용어 | 한국어 번역 | 간단 설명 |
|---|---|---|
| Alignment Framework | 정렬 프레임워크 | AI 모델이 인간의 의도에 맞게 행동하도록 만드는 체계 |
| Safety Taxonomy | 안전 분류 체계 | 위험 유형을 체계적으로 분류하는 구조 |
| Guardrail | 가드레일 | AI 행동의 안전 경계를 설정하는 장치 |
| Trajectory | 궤적 | 에이전트가 수행한 일련의 행동 시퀀스 |
| Influence Function | 영향 함수 | 훈련 샘플이 모델 예측에 미치는 영향을 측정하는 수학적 도구 |
| SFT | 지도 파인튜닝 | 레이블된 데이터로 사전훈련 모델을 추가 학습 |
| RL | 강화학습 | 보상 신호를 통해 에이전트가 행동을 최적화하는 학습 방식 |
| Risk Source | 위험 원천 | 위험이 시스템에 진입하는 출발점 |
| Failure Mode | 실패 모드 | 에이전트가 안전하지 않게 동작하는 방식 |
| Real-World Harm | 실세계 피해 | 에이전트 실패로 인한 실제 결과적 피해 |
| Open-World Agent | 오픈-월드 에이전트 | 고정된 환경 없이 다양한 시스템을 자유롭게 조작하는 에이전트 |
| Supply-Chain Attack | 공급망 공격 | 소프트웨어 의존성이나 패키지를 통한 간접 공격 |
| Fine-Grained Classification | 세밀한 분류 | 단순 이진 판단을 넘어 세부 카테고리까지 분류하는 방식 |
| Cross-Environment Comparability | 크로스-환경 비교 가능성 | 다른 실행 환경 간 일관된 기준으로 비교할 수 있는 특성 |
🏷️ 태그
#AI안전 #에이전트안전 #AgentDoG #LLM정렬 #가드레일 #경량모델 #오픈소스 #안전분류체계 #영향함수 #데이터효율성 #강화학습 #SFT #OpenClaw #Codex #AIAlignment #AgentSafety #LLMSafety #Guardrail #AISecuity #2026AI
이 포스트는 arXiv 논문 2605.29801을 기반으로 작성되었습니다. 논문의 모든 모델과 데이터셋은 공개적으로 배포되어 있으며, HuggingFace에서 확인하실 수 있습니다.
