요새 AI세대로 접어들며, 많은 언어 모델들이 출시되고 있고 여러 AI 플랫폼들이 나오고 있다.
이러한 AI 서비스들이 많아지며 모의해커나 취약점 분석을 하시는분들도 어떠한 체크리스트를 기반으로 모의해킹을 해야되는지 OWASP LLM & GenAI Top 10 보안 위험 목록을 알아보도록 하자.
1. Prompt Injection (프롬프트 주입 공격)
사용자가 의도적으로 입력한 프롬프트를 통해 모델의 동작을 조작하거나 보안 기능을 우회하는 공격이다. 모델의 응답을 변조하거나 민감한 정보를 유출 시킬수 있다.
2. Sensitive Information Disclosure (민감 정보 유출)
모델이 훈련 데이터나 환경 설정에서 학습한 민감한 정보를 응답으로 출력하는 경우이다. 기업 비밀이나, PII (개인식별정보), 등 이러한 민감한 정보를 외부로 유출하는 경우를 말한다.
3. Supply Chain Vulnerabilities (공급망 취약점)
외부 데이터셋, 사전 학습 모델, 플러그인 등 제3자 구성 요소의 보안 취약점으로 인해 발생하는 위험이다. 이는 악의적인 코드나 데이터 주입을 통해 시스템을 공격할수 있다.
4. Data and Model Poisoning (데이터 및 모델 오염)
훈련 데이터나 파인튜닝 데이터에 악의적인 데이터를 주입하여서 모델의 동작을 왜곡 하거나 악용하는 공격이다. 이는 모델의 신뢰성을 저하시킬수 있다.
5. Improper Output Handling (출력 처리 부주의)
모델의 출력을 검증이나 모니터링 하지 않아서 발생하는 문제이다. 악성코드 실행이나 잘못된 권장 사항을 제공하거나, 허위 정보를 확신시킬수 있다는 점이 있다.
6. Excessive Agency (과도한 자율성 부여)
모델에 과도한 자율성을 부여해서 인간의 감독없이 독립적으로 행동하는 구조적 문제를 이야기 한다.
7. System Prompt Leakage (시스템 프롬프트 유출)
모델의 내부 지침이나 설정이 응답으로 노출되는 경우를 이야기 한다. 이는 모델의 동작 원리나 보안 메커니즘이 공격자에게 노출되어 추가 공격을 가능하게 한다.
8. Vector and Embedding Weakness (백터 및 임베딩 취약점)
검색 증강 생성(RAG)나 임베딩 기반 방법에서 발생하는 보안 취약점이다. 이는 악의적인 데이터를 주입하거나 임베딩 오염을 통해 모델의 응답을 왜곡 시킬수 있다.
9. Misinformation (허위 정보)
모델이 신뢰할 수 있는 출처 없이 생성한 허위 정보를 제공하는 경우이다. 이는 잘못된 정보 확산, 의사 결정 오류, 보안 취약점 노출등을 초래할수 있다.
10. Unbounded Consumption (무제한 자원 소비)
DOS 공격을 포함하여 모델 사용 시 예상치 못한 자원 소비나 비용 초과가 발생하는 경우이다. 이는 클라우드 환경에서 비용증가나 시스템 성능 저하를 유발 할수 있다.
AI 시스템을 만들거나 서비스를 할때는 단순히 모델의 성능만 볼것이 아니라 이런 보안리스크도 챙기는 것이 꼭 필요하다 생각한다.
