embodied LLM이 물리적 결과를 제대로 추론하지 못하는 점을 악용해, 겉보기엔 무해한 행동 시퀀스로 위험한 실제 행동을 유도하는 자동화 공격 프레임워크 Blindfold를 제안함
Introduction
기존의 embodied LLM에 대한 jailbreak attack은 전통적인 LLM jailbreak과 유사함
-> 프롬프트의 의미를 조작해 유해한 출력을 유도하는 방식
BUT embodied LLM은 물리 세계에 기반을 두고있기 때문에 겉으로는 무해한 지시라도 행동의 결과가 해로울 수 있음
-> Blindfold라는 자동화 공격 프레임워크 제안
제한된 접근만 가능한 블랙박스 embodied LLM을 어떻게 jailbreak할 것인가?
로컬 LLM을 활용한 adversarial proxy planning
attacker는 local 오픈소스의 LLM을 손상시키고 이를 adversarial planner로 활용
-> attacker의 악의적 의도와 관찰된 환경 맥락을 바탕으로 후보 행동 시퀀스 생성
-> 의미적으로는 무해해보이지만 타깃 embodied agent가 실행했을 때 유해할 수 있음
프롬프트에 담긴 악의적 의도를 어떻게 더 잘 숨길 것인가?
Cover action injection을 통한 의도 난독화
obfuscator를 도입하여 action-level의 노이즈를 삽입해 악의적 의도를 가림
ex. 핵심 행동을 무해한 여러 행동들 사이에 숨김
타깃 환경에서 공격 실행 가능성을 어떻게 높일 것인가?
Planner-verifier 반복을 통한 프롬프트 정제
행동에서의 충돌이 발생하지 않도록 planner-verifier 과정을 반복함
이 논문의 주요 기여점은 다음과 같다.
- embodied LLM에 존재하는 근본적인 보안 공백을 지적함
- 손상된 local LLM을 활용한 proxy planning 전략 기반의 자동화 공격 프레임 워크 설계
- 시뮬레이션 환경과 실제 embodied AI 환경에서 평가 수행
PROBLEM STATEMENT
no-box setting 가정
Attack Goal : 공격자의 목표는 embodied LLM 에이전트를 조작해, 궁극적으로 의도한 물리적 결과를 일으키는 행동을 수행하는 것
Design Goals
- Action-based : Blindfold는 프롬프트의 의미를 조작하는 대신, 물리적 맥락을 고려한 행동 관점에서 공격을 설계해 새로운 결과를 유도해야 함
- Effectiveness : Blindfold는 방어 매커니즘을 효과적으로 우회해야하고, 위험한 요청으로 탐지되거나 거부되지 않아야 함
- Executability : 대상 embodied LLM이 생성한 출력은 실제로 성공적으로 실행되어, 공격자가 의도한 결과로 이어져야 함
PRELIMINARY STUDY
평가 지표 : ASR, TSR
Can we jailbreak vanilla embodied LLMs?
지시문을 입력했을 때, ASR, TSR 모두 낮음
1. embodied LLM의 추론 능력으로 어느 정도 semantic 수준에 대해서는 안전함
2. 명확한 맥락 정보가 주어지더라도 LLM은 환경에 기반한 유효하고 정확한 행동 계획을 생성하는 데 어려움을 겪음
Can we bypass SOTA defense mechanisms?
POEX가 제안한 input 언어를 pre-cheking하고, LLM이 생성한 output을 post-cheking하는 방식을 적용했을 때 40%정도 낮출 수 있음
Is naive obfuscation enough?
figure 4에서 볼 수 있듯이, 노이즈를 넣어 안전성을 약화시켰을 때, ASR은 높지만 TSR은 낮은 것을 볼 수 있음
-> action-level의 attack이 필요함
Opportunities
- 블랙박스 환경에서 오픈소스 LLM을 proxy로 배치하여 공격 최적화를 자동화함
- ASR과 TSR의 균형을 맞추기 위한 설계가 필요함
DESIGN OF BLINDFOLD
1. 악의적 의도와 대상 환경 정보가 주어지면, 손상되고 무기화된 LLM을 통해 action chain으로 바꿈
2. action chain을 바탕으로 obfuscator는 가장 유해한 행동 dominant action을 식별함
3. noise adder를 통해 dominant action 주변에 cover action 생성
4. chain fusion을 수행하여 dominant 를 cover action에 숨김
5. finite state machine(FSM)기반 plug-and-play를 수행하여 각 행동의 실행 가능성 평가
6. 완성된 프롬프트를 embodied LLM에 입력해 공격 수행함
EVALUATION
Review
두 손을 쓰는 embodied LLM이나 좀 더 복잡한 attack에 대해서는 어떻게 적용될지 궁금해졌다.
(예를 들어 '사람을 찔러' 등의 간단한 prompt가 아닌 어떤 화학 물질 2가지를 섞었을 때 폭발한다든지..?)
