NIST IR 8596 (Initial Preliminary Draft) — 2025년 12월 발행
원제: “Cybersecurity Framework Profile for Artificial Intelligence (Cyber AI Profile): NIST Community Profile”
NIST가 2025년 12월에 공개한 IR 8596은 AI 시스템의 사이버보안 리스크 관리와 AI를 활용한 사이버보안 역량 강화를 동시에 다루는 커뮤니티 프로파일 초안이다. 기존 CSF(Cybersecurity Framework) 2.0의 Functions, Categories, Subcategories 구조를 그대로 활용하면서, AI라는 기술적 맥락에 맞춘 우선순위와 고려사항을 제시한다.
핵심 메시지는 명확하다: AI는 보안의 대상이자 도구이며, 동시에 위협의 수단이다. 이 세 가지 관점을 하나의 프레임워크 안에서 통합적으로 다루겠다는 것이 이 문서의 야심이다.
이 프로파일의 골격은 세 가지 Focus Area로 구성된다.
“AI를 보호하라”
조직의 생태계와 인프라에 AI 시스템을 통합할 때 발생하는 사이버보안 과제를 관리하는 데 초점을 맞춘다. AI 시스템 자체뿐 아니라 공급망, 학습 데이터, ML 인프라, 그리고 AI가 의존하는 다른 시스템과 데이터까지 범위에 포함된다.
NIST가 강조하는 AI의 보안적 특수성은 다음과 같다:
“AI로 방어하라”
AI를 활용하여 사이버보안 프로세스와 활동을 강화하는 기회를 식별하고, 방어 운영에 AI를 활용할 때의 과제를 이해하는 데 초점을 맞춘다.
문서에서 제시하는 AI 방어 활용 사례는 네 가지 범주로 구분된다:
“AI 공격을 막아라”
AI가 적대 세력의 역량을 어떻게 강화하는지, 이러한 공격이 전체 사이버보안 환경에 어떤 영향을 미칠 수 있는지, 조직이 이러한 신흥 위협에 대비하기 위해 무엇을 할 수 있는지를 다룬다.
AI 기반 공격이 기존 공격과 차별화되는 세 가지 요인:
구체적인 AI 기반 공격 사례로는 딥페이크를 활용한 스피어 피싱, 시그니처 기반 탐지를 우회하는 AI 생성 멀웨어, AI 에이전트를 활용한 자율적 공격 오케스트레이션(정찰→취약점 악용→자격증명 수집→측면이동→데이터 수집) 등이 언급된다.
프로파일은 CSF 2.0의 6개 Function별로 106개 Subcategory에 대해 각 Focus Area별 우선순위를 제시한다:
| Function | 테이블 | 핵심 역할 |
|---|---|---|
| GOVERN | Table 1 | AI 리스크 관리 전략, 역할·책임, 공급망 |
| IDENTIFY | Table 2 | AI 자산 식별, 리스크 평가, 개선 |
| PROTECT | Table 3 | AI 접근 관리, 인식 교육, 데이터 보안, 플랫폼 보안, 복원력 |
| DETECT | Table 4 | AI 관련 지속적 모니터링, 이상 분석 |
| RESPOND | Table 5 | AI 인시던트 관리, 분석, 완화, 보고 |
| RECOVER | Table 6 | AI 인시던트 복구 계획 실행, 통신 |
우선순위는 3단계로 구분된다:
NIST IR 8596은 AI 보안을 다루는 많은 문서 중 하나이지만, 결정적인 차별점이 있다: 기존 CSF 2.0 위에 올리는 프로파일이라는 점이다. 이는 조직이 “AI 보안을 위해 전혀 새로운 프레임워크를 도입해야 한다”가 아니라 “기존 사이버보안 프로그램에 AI 고려사항을 통합하라”는 메시지를 담고 있다. 이미 CSF 기반 컴플라이언스를 운영하는 조직이라면 진입 장벽이 현저히 낮다.
이 프로파일이 제시하는 가장 강력한 개념은 Secure → Defend → Thwart의 순환적 관계이다:
이 순환 구조는 AI 보안을 단일 프로젝트가 아닌 지속적 리스크 관리 사이클로 접근해야 함을 의미한다.
기존 CSCRM은 소프트웨어·하드웨어 출처와 무결성에 집중했다. 이 프로파일은 데이터 출처(data provenance)를 공급망 관리의 1급 시민으로 격상시킨다. GV.SC-01에서 Secure에 우선순위 2를 부여하며 “AI에서 데이터 출처는 소프트웨어·하드웨어 출처와 동일한 비중으로 다뤄져야 한다”고 명시한 점이 핵심이다.
AWS 환경에서의 구현 시사점:
GV.SC-01의 Defend 고려사항에서 서술된 RL 모델에 대한 공격 시나리오는 매우 구체적이고 실질적이다:
온라인 학습 모델이 일상 활동으로부터 지속적으로 개선되는 환경에서, 악의적 행위자가 의도적으로 알람을 반복 트리거하면서 네트워크를 정상 유지 → 모델이 “오경보”로 학습 → 향후 실제 공격 시 경고 미발생
이 시나리오는 에이전트 메모리 포이즈닝(memory poisoning) 개념과 직결된다. A2A(Agent-to-Agent) 위임 환경에서 한 에이전트의 오염된 메모리가 다른 에이전트로 전파되는 시나리오와 본질적으로 동일한 공격 벡터이다.
Thwart 영역(Section 2.1.3)에서 AI 에이전트를 활용한 자율적 공격 오케스트레이션을 명시적으로 언급한 것이 주목할 만하다:
“정찰 → 공격 표면 매핑 → 취약점 악용 → 자격증명 수집 → 측면이동 → 데이터 수집”의 전체 킬체인을 AI 에이전트가 자율적으로 수행
공격자 측의 에이전트가 네트워크 스캐너, 패스워드 크래커, 익스플로잇 프레임워크를 자율적으로 운용한다는 것은, 방어자 측에서도 에이전트 모니터링과 에이전트 간 위임의 보안 모델을 수립해야 함을 의미한다.
Defend 영역 전반에 걸쳐 HITL 검증이 반복적으로 강조된다:
이는 AI 방어의 완전한 자동화가 아닌 증강된 자동화(augmented automation)를 지향한다는 NIST의 일관된 입장이다.
GV.OC-03에서 Defend에 High(1) 우선순위를 부여하며, AI를 컴플라이언스 가속화 도구로 활용할 기회를 명시적으로 제시한 것이 실무적으로 가장 즉시 활용 가능한 항목이다:
이 영역은 보안 조직이 AI 도입의 ROI를 가장 빠르게 체감할 수 있는 분야다.
| Focus Area | AWS 매핑 예시 |
|---|---|
| Secure | Bedrock Guardrails, SageMaker Model Cards/Registry, S3 Object Lock + CloudTrail Data Events, IAM 최소 권한, VPC 네트워크 격리, KMS 기반 모델 암호화 |
| Defend | GuardDuty AI 이상 탐지, Security Hub 자동 대응, Bedrock Agent 기반 보안 자동화, CloudTrail + Athena 로그 분석, AgentCore Observability(텔레메트리) |
| Thwart | Bedrock 프롬프트 인젝션 방어, 모델 인버전 공격 대비, 딥페이크 탐지, 에이전트 A2A 통신 무결성 검증, WAF + Shield Advanced |
이 프로파일을 기반으로 조직에서 즉시 점검할 수 있는 항목:
이 문서는 초안(Preliminary Draft) 단계이다:
병행 개발 중인 COSAiS(SP 800-53 Control Overlays for Securing AI Systems)가 이 프로파일의 전략적 가이드라인을 구체적인 통제 수준으로 구현하기 위한 실행 가이드라인이 될 것이다.
AI를 위한 사이버보안 프레임워크 프로파일(이하 “Cyber AI Profile” 또는 “본 프로파일”)은 AI 시스템과 관련된 사이버보안 리스크를 관리하고, AI를 활용하여 사이버보안 역량을 강화할 수 있는 기회를 식별하기 위한 가이드라인을 제공한다. 본 프로파일은 NIST 사이버보안 프레임워크(CSF) 2.0의 성과 체계(Functions, Categories, Subcategories)를 기반으로 구성되어 있다. 본 예비 초안(Preliminary Draft)은 계획된 방향과 내용에 대한 피드백을 수집하기 위한 공개 의견 요청과 함께 공유된다. 수집된 의견은 최초 공개 초안(Initial Public Draft)에 반영될 예정이다. 로드맵을 포함한 본 프로젝트에 대한 추가 정보는 국가 사이버보안 우수 센터(NCCoE) Cyber AI Profile 프로젝트 페이지에서 확인할 수 있다.
인공지능(Artificial Intelligence), 커뮤니티 프로파일(Community Profile), Cyber AI Profile, 사이버보안 프레임워크(Cybersecurity Framework), 리스크 관리(Risk Management)
미국 국립표준기술연구소(NIST) 정보기술연구소(ITL)는 국가의 측정·표준 인프라에 대한 기술적 리더십을 제공함으로써 미국 경제와 공공 복지를 증진한다. ITL은 정보기술의 개발과 생산적 활용을 촉진하기 위한 시험, 시험 방법, 참조 데이터, 개념 증명 구현, 기술 분석을 개발한다. ITL의 책임에는 연방 정보 시스템에서 국가 안보 관련 정보 이외의 정보에 대한 비용 효과적인 보안 및 프라이버시를 위한 관리적, 행정적, 기술적, 물리적 표준 및 가이드라인의 개발이 포함된다.
본 예비 초안의 목적은 Cyber AI Profile의 기술적 내용 방향에 관한 통찰을 공유하는 것이다. NIST는 본 문서의 모든 측면에 대한 피드백과 의견을 환영한다. 특히 NIST는 다음 사항에 대한 피드백을 구한다:
1. 문서 구조 및 주제:
a) 이 문서를 어떻게 활용할 계획인가? 그 활용도를 높이거나 개선하기 위해 어떤 변경을 원하는가?
b) 이 문서가 향후 귀 조직의 관행과 프로세스에 어떤 영향을 미칠 것으로 예상하는가?
c) 이 문서에서 제안된 주제가 귀 조직이 AI에 대한 사이버보안 성과의 우선순위를 정하는 데 충분한가?
2. Focus Area 설명 (Section 2.1):
a) Focus Area 설명이 AI 사용의 범위와 특성을 얼마나 잘 반영하고 있는가? 누락된 특성이 있는가? 있다면 그것은 무엇이며 어떻게 설명해야 하는가?
3. 프로파일 내용 (Sections 2.3-2.8):
a) Cyber AI Profile을 적용할 때, 세 가지 Focus Area가 나란히 표시되는 현재 형식이 얼마나 유용한가(또는 유용하지 않은가)? 각 Focus Area별로 프로파일 내용을 별도로 제공하는 것에 어떤 가치가 있을 수 있는가?
b) Cyber AI Profile의 정보를 제공하기 위해 어떤 형식이 유용할 것인가(예: 스프레드시트/워크북, NIST 사이버보안 및 프라이버시 참조 도구(CPRT))?
c) Sections 2.3-2.8에서 논의된 우선순위와 고려사항이 귀 조직이 활용하는 기존 관행 및 표준과 얼마나 잘 관련되는가? 현재 관행과 각 Focus Area에서 AI의 고유한 특성을 다루기 위해 필요한 관행 사이에 이 문서가 다뤄야 할 중요한 격차가 있는가? AI 관련 고려사항이 각 Subcategory의 우선순위 설정에 어떻게 반영되어야 하는가?
d) NIST는 CSF 2.0 Informative References와 Implementation Examples를 발행하여 각 Subcategory의 성과를 달성하는 잠재적 방법을 제시하고 있다. 본 예비 초안에는 Cyber AI Profile에 대한 Informative References 예시가 포함되어 있다. 추가 문헌 검토가 진행 중이며 NIST는 포함할 추가 Informative References에 대한 의견을 구하고 있다. 귀 조직이 사용 중이며 Cyber AI Profile의 Informative References로 추가를 권장하는 AI 사이버보안 가이드라인, 표준, 모범 사례 또는 매핑이 있는가? 권장하는 Informative References에 대해 권장 이유와 이 문서에서 어떻게 우선순위를 매길 것인지 공유해 주기 바란다.
4. 용어집 (Appendix B):
a) NIST는 본 문서의 용어집에 추가해야 할 용어에 대한 요청과 제안을 환영한다.
의견 제출자는 NCCoE의 Cyber AI Profile 프로젝트 페이지에서 제공되는 의견 양식을 사용하여 질문에 대한 응답과 문서 본문에 대한 구체적인 의견을 제출하는 것이 권장된다. 피드백 및 완성된 의견 양식은 프로젝트 팀(cyberaiprofile@nist.gov)에 제출할 수 있다. 의견 제출 마감일은 2026년 1월 30일 동부 표준시 오후 11시 59분이다.
모든 의견은 정보자유법(FOIA)에 따라 공개될 수 있다.
미국 국립표준기술연구소(NIST) 사이버보안 프레임워크(CSF) 2.0은 조직이 사이버보안 리스크를 관리, 감소, 소통하는 데 도움이 되는 자발적 지침을 제공한다. 이 프레임워크는 광범위한 이해관계자와의 협력을 통해 만들어졌으며, 사이버보안 문제를 다루기 위한 우선순위 기반의 리스크 접근법을 권장한다. NIST 인공지능 리스크 관리 프레임워크(AI RMF)는 AI 시스템의 책임 있는 사용을 폭넓게 다루며, 관련 사이버보안 리스크를 관리하기 위한 도구로서 NIST CSF와 NIST 리스크 관리 프레임워크(RMF)를 지목한다.
프레임워크가 다양한 완화 조치를 제시하지만, 커뮤니티 프로파일은 특정 맥락에서 사이버보안 성과의 우선순위를 정하기 위해 CSF를 적용한다. AI를 위한 사이버보안 프레임워크 프로파일(이하 “Cyber AI Profile” 또는 “본 프로파일”)은 AI에 대해 이러한 목적을 수행한다. NIST는 또한 조직이 AI 시스템을 사용할 때 고려해야 할 가장 중요한 통제를 사용자 지정하고 우선순위를 정하는 데 도움이 되는 구현 중심 가이드라인으로서 일련의 NIST SP(Special Publication) 800-53 AI 시스템 보안을 위한 통제 오버레이(COSAiS)를 개발하고 있다.
이 Cyber AI Profile을 개발하기 위해 NIST는 정부, 학계, 산업계의 이해관계자와 협력하여 AI 및 사이버보안 커뮤니티가 직면한 사이버보안 과제의 현황을 파악했다. NIST는 2025년 2월에 사이버보안과 AI의 교차점을 기반으로 한 CSF 커뮤니티 프로파일에 대한 이해관계자 관점을 수집하기 위해 사이버보안 및 AI 워크숍 개념 문서를 발행했다. 이러한 관점은 NIST가 2025년 4월에 개최한 공개 워크숍에서 논의되었다. 2025년 4월, NIST는 조직 및 사이버보안 운영에서 AI를 활용하는 것과 관련된 이점과 과제에 초점을 맞춘 공개 워크숍을 실시했다. 이 워크숍은 또한 조직이 CSF, RMF, AI RMF, 프라이버시 프레임워크와 같은 기존 NIST 프레임워크를 활용하여 식별된 과제를 해결하는 방법에도 초점을 맞추었다. 참가자들은 Cyber AI Profile의 범위와 실용적 적용도 탐구했다. NIST는 워크숍에서 식별된 개념을 문서화하기 위해 2025년 4월 워크숍의 성찰을 발행했으며, 여기에는 AI 도입과 관련된 이점, 우려, 과제, 관련 사이버보안 리스크 관리 관행의 현황, 조직 운영을 위한 AI의 안전한 구현 및 활용의 격차, AI 기반 사이버보안 공격 저지가 포함되었다.
후속 노력으로, 2025년 8월과 9월에 NIST는 Cyber AI Profile 개발에 필요한 사이버보안 우선순위를 식별하기 위해 특별히 설계된 세 차례의 공개 워킹 세션을 실시했다. 각 워킹 세션은 세 가지 Focus Area 중 하나를 탐구했으며, AI 및 사이버보안 커뮤니티로부터 사이버보안 프로그램이 조직에 대한 AI의 영향을 관리할 때 어떤 지원이 필요한지에 대해 더 많이 배우려는 의도를 가지고 있었다. 이러한 워킹 세션의 자료는 각 이벤트 페이지의 행사 후 자료 섹션에서 찾을 수 있다(AI 기반 사이버 방어 수행, AI 시스템 구성요소 보안, AI 기반 사이버 공격 저지).
예비 초안으로서 본 프로파일은 아직 개발 중이다.
AI 및 사이버보안 커뮤니티 구성원과의 논의에서 AI 도입 및 사용과 관련된 사이버보안 과제를 다루기 위해 CSF 기반의 지침을 개발하는 것이 가치가 있을 것이라는 의견이 강력히 제시되었다. 조직에 따라 AI를 운영에 사용하는지 여부와 방식이 다를 수 있다 — 일부는 아직 AI를 사용하지 않을 수 있고, 일부는 패턴 탐지 및 계획을 위한 기본적인 머신러닝(ML) 기술이 적용된 사이버보안 솔루션만 사용하고 있을 수 있으며, 일부는 생성형 AI(GenAI)와 같은 더 새롭고 혁신적인 AI 역량을 탐색하고 있을 수 있다.
그러나 조직이 AI 여정의 어디에 있든, 사이버보안 프로그램은 AI 발전의 현실을 지원하고 통합하는 리스크 관리 접근법이 필요하다. Cyber AI Profile은 다음을 통해 조직에 대한 AI 발전의 영향을 관리하는 사이버보안 프로그램을 지원하고자 한다:
이를 위해 본 프로파일은 조직이 AI 관련 고려사항을 기존 사이버보안 프로그램에 통합하도록 다음과 같이 지원한다:
Cyber AI Profile은 조직이 AI 기회와 리스크를 다른 시스템, 데이터, 기술과 함께 관리하기 위해 기존 사이버보안 프로그램에 통합할 수 있는 정보를 제공한다. 모든 새로운 기술과 마찬가지로 AI 구현은 새로운 리스크를 도입할 수 있다. AI는 실수를 할 수 있고, 확신에 찬 그러나 부정확한 답변을 제공할 수 있고, 민감한 데이터를 유출할 수 있으며, 공격자에 의해 조작될 수 있다. 그리고 다른 유형의 시스템과 마찬가지로, 조직은 신뢰할 수 있고 책임성과 설명 가능성에 대한 조직적 목표를 지원하는 AI 시스템을 추구한다. 개념 문서에 대한 피드백, 공개 워크숍, 세 차례의 COI 워킹 세션 외에도, 지속적이고 심층적인 문헌 검토가 본 프로파일 작성에 기여했다. 본 프로파일은 조직이 사이버보안 리스크 관리 접근법을 업데이트하려는 노력에 유용한 사이버보안 및 AI 분야의 기존 작업을 기반으로 하고 강조한다. Cyber AI Profile은 또한 공유된 리스크와 기회를 다루기 위해 사이버보안과 AI 커뮤니티 간의 협력과 상호 이해를 촉진하는 것을 목표로 한다.
“인공지능”이라는 용어는 오랜 역사를 가지고 있으며, 사용되는 시기와 기타 맥락적 요인에 따라 다양한 의미를 가진다. 이 분야의 급속한 발전 특성과 먼 미래까지 유용하고 유연한 문서를 만들려는 노력으로 인해, 본 프로파일은 “AI”라는 용어의 정의를 단정짓지 않으며, 본 프로파일의 적용을 가장 넓은 의미의 용어에 개방한다.
그러나 본 프로파일은 이 문서의 이해와 활용을 촉진하기 위해 전체에 걸쳐 AI의 예시를 제공하며, 독립형 AI 시스템이든 AI를 통합한 애플리케이션, 인프라, 조직이든 AI 역량을 사용하는 모든 시스템을 지칭하기 위해 “AI 시스템”이라는 용어를 사용한다. 일반적으로 사용되는 AI 시스템 유형의 예로는 다음이 포함되나 이에 국한되지 않는다:
AI 시스템은 다음을 포함하나 이에 국한되지 않는 알고리즘과 기법에 기반할 수 있다:
이러한 모든 시스템, 알고리즘, 기법에 영향을 미치는 많은 사이버보안 고려사항이 있다. 많은 경우 고유한 고려사항을 가진 특정 유형의 AI가 있을 수 있다. 이는 Cyber AI Profile 전체에 걸쳐 강조될 것이다.
본 Cyber AI Profile의 논의는 세 가지 Focus Area를 중심으로 구성된다:
본 프로파일은 CSF Core의 Functions, Categories, Subcategories를 중심으로 이 세 가지 Focus Area에 대한 사이버보안 시사점 논의를 구성한다. 사이버보안을 넘어서는 고려사항은 Cyber AI Profile의 범위 밖이다.
Cyber AI Profile은 다음과 같은 모든 조직을 대상으로 한다:
이 Cyber AI Profile은 조직이 내부 및 외부 이해관계자와 AI에 대한 사이버보안 기대치를 식별하고 전달하는 데 사용할 수 있다. 본 프로파일은 또한 조직 리더십이 조직의 운영 측면에 맞춤화된 우선순위를 생성하는 데 사용할 수 있다.
이 문서의 나머지 부분은 다음과 같이 구성된다:
참고 박스: COSAiS (AI 시스템 보안을 위한 통제 오버레이)
이 Cyber AI Profile을 보완하고 AI 리스크 관리 프레임워크의 도입을 지원하기 위해, NIST는 NIST SP 800-53 통제를 사용하여 일련의 AI 시스템 보안을 위한 통제 오버레이(COSAiS)를 개발 중이다. 통제 오버레이는 조직과 관심 커뮤니티가 특정 맥락과 요구에 맞게 통제(또는 통제 기준선)를 맞춤화할 수 있게 한다. COSAiS는 추가적인 구현 중심 가이드라인을 제공하고 AI 시스템의 사용자와 개발자가 다양한 유스케이스에서 고유한 리스크를 관리하도록 지원할 것이다:
- 생성형 AI의 적응 및 활용
- 예측 AI의 활용 및 파인튜닝
- 에이전틱 AI 활용: 단일 에이전트 및 다중 에이전트
AI 통제 오버레이 프로젝트, Slack 공간, Slack 채널 참여 방법에 대해 https://csrc.nist.gov/projects/cosais 에서 자세히 알아볼 수 있다. 질문과 의견은 overlays-securing-ai@list.nist.gov로 보낼 수 있다.
참고: NIST가 Focus Area에 대해 더 많은 정보가 필요하다는 피드백을 받을 경우 이 섹션은 최초 공개 초안(IPD)에서 확장될 수 있다.
Cyber AI Profile은 CSF의 요소(Functions, Categories, Subcategories)와 Focus Area로 구성된다. 본 프로파일은 조직이 이미 사이버보안 프로그램을 갖추고 있다고 가정하며, 조직의 AI 시스템 배치 및 사용에 기반한 추가 고려사항을 제공한다. Cyber AI Profile의 내용은 문헌 검토, 주제 전문가의 의견, 이해관계자 및 공중과 함께 진행한 워킹 세션을 기반으로 개발되었다.
사이버보안과 AI의 교차점에는 여러 측면이 있다. 구성 체계를 제공하기 위해 Cyber AI Profile은 이해관계자의 의견에 기반한 세 가지 Focus Area를 제공하며, 상세 논의에서 참조의 편의를 위해 각각 하나의 키워드를 사용한다:
세 가지 Focus Area는 각각 다른 각도에서 AI 관련 사이버보안 리스크를 다루지만, 일부 공통점을 공유하며 각 Focus Area는 나머지 둘을 가능하게 한다. 아래에서 이러한 구분과 관계에 대한 개요를 제공한다.
Secure는 조직 환경에 모든 유형의 AI 시스템을 통합할 때의 사이버보안 과제를 관리하면서, 조직의 사이버보안 프로그램이 AI 시스템의 고유한 요구를 수용하기 위해 어떻게 적응해야 하는지를 고려하는 데 초점을 맞춘다. Defend는 조직이 AI가 사이버보안 방어 역량을 개선하기 위해 제공하는 기회를 어떻게 활용할 수 있는지, 예를 들어 새로운 효율성을 활용하는 것에 초점을 맞춘다. Secure가 광범위한 AI 시스템을 통합하고 관리하기 위한 사이버보안 요구를 고려하는 반면, Defend는 AI가 조직이 사이버보안 활동을 더 잘, 더 선제적으로 수행하는 데 어떻게 도움이 되는지를 고려한다. 두 Focus Area는 종종 함께 작동한다 — AI 시스템이 잘 보호되면, AI 기반 방어가 해당 시스템을 표적으로 하는 위협을 더 잘 찾고 대응할 수 있다.
Secure는 조직의 기본적인 사이버보안 관행을 가능하게 하며, 이는 Thwart에서 다루는 AI 기반 공격을 방지하기 위한 복원력 조치와 통합된다. Thwart는 AI가 적대 세력이 공격 방법을 더 정교하게 만들고 공격을 더 효율적으로 수행하는 데 중요한 역할을 할 수 있음을 인정한다. Thwart의 적대적 AI 사용에 대한 지식은 Secure 하에서 조직의 전반적인 사이버보안 프로그램에 복원력을 구축하는 데 도움이 되는 통찰을 제공한다.
이 세 가지 Focus Area에 대한 사이버보안 고려사항은 함께 조직의 사이버보안 프로그램이 AI 시스템을 보안(Secure) 하고, 새로운 AI 역량을 활용하여 조직을 방어(Defend) 하며, AI 기반 공격을 선제적으로 저지(Thwart) 하고, 알려진 위협에 기반하여 사이버보안 방어를 강화하도록 돕는다.
Secure Focus Area는 조직, 조직의 생태계, 인프라에 AI 시스템을 통합하는 것과 관련된 새롭고, 확장되고, 변경된 공격 표면을 다루기 위해 기존 사이버보안 및 리스크 관리 모범 사례를 보완한다. 이는 AI 시스템 자체, 데이터 및 머신러닝 인프라를 포함한 공급망, 그리고 AI 시스템이 의존하는 다른 시스템과 데이터를 포괄한다.
AI 시스템은 많은 부문에서 일상 업무 운영에 점점 더 중요해지고 있다. Secure 범위에 해당하는 AI 사용 사례는 다음을 포함하나 이에 국한되지 않는다:
이러한 각 부문과 사용자는 사이버보안 과제를 처리하는 방법을 가지고 있을 수 있지만, AI가 강화된 시스템이 이러한 사이버보안 리스크를 어떻게 변화시키는지 아직 파악하려는 중이다. 다른 유형의 컴퓨터 시스템과 비교하여, AI의 동작과 취약점은 더 맥락 의존적이고, 동적이며, 불투명하고, 예측하기 어려우며, 나타날 때 식별, 검증, 진단, 문서화하기도 더 어려운 경향이 있다. 문제가 식별되더라도, 일부 취약점이 AI 모델이나 기반 학습 데이터 및 머신러닝 인프라에 내재되어 있어 완화하기도 어려울 수 있다.
AI는 조직에 사이버보안 프로세스를 개선할 기회를 제공하는 동시에 새로운 고려사항을 도입한다. 각 조직은 AI 도입 및 사용의 영향을 적절히 평가하고 관리하는 방법을 결정해야 할 것이다. 사이버보안 전문가는 직원 교육에서 AI 고려사항 다루기, 적대적 입력으로부터 AI 시스템 보안, 데이터 품질 및 무결성 유지를 포함한 AI 시스템 관련 다양한 조치를 구현해야 한다.
Defend Focus Area의 범위는 사이버보안 프로세스와 활동을 지원하기 위한 AI 사용 기회를 식별하고, 방어 운영을 지원하기 위해 AI를 활용할 때 수반되는 과제를 이해하는 것이다. AI는 조직의 사이버보안 방어에 점점 더 영향력 있고 중요해지고 있다 — 예를 들어, 상당한 양의 알림을 분류하고, 실제 위협을 노이즈와 구별하고, 가장 심각한 위협을 구별하며, 활성 공격 중에 어떤 조치를 취해야 하는지에 대한 우선순위와 제안까지 제공함으로써 사이버보안 팀을 지원할 수 있다. 일부 팀은 다중 AI 에이전트가 공격 식별에 협력하고 방어 조치를 취하면서 서로를 점검하여 방어를 개선하는 에이전틱 AI도 실험하고 있다.
사이버 방어 역량을 강화하기 위해 AI를 사용하는 기회의 예시는 다음과 같다:
미션 보장 (Mission Assurance):
예측적 및 선제적 (Predictive & Proactive):
조사 및 분석 (Investigation & Analysis):
대응 및 복구 (Response & Remediation):
AI는 인간 분석가를 보강하고, 탐지 및 대응 시간을 단축하며, 복구를 지원함으로써 방어 프로세스를 개선할 수 있다. 사이버보안 방어를 위한 AI 사용은 역동적인 분야이며, 조직은 역량이 자신의 요구에 충분히 성숙한지 지속적으로 평가해야 할 것이다. AI를 활용하여 사이버보안 방어를 강화하는 이러한 기회는 프로파일에서 고려되며, 이러한 방식으로 AI를 사용할 때 발생할 수 있는 새로운 리스크도 함께 다룬다.
AI 기반 공격이 점점 더 보고되고 있지만, 적대 세력의 AI 사용이 더 잘 이해되고 효과적인 조치가 사이버 방어에 통합될 때까지 많은 공격이 탐지되지 않을 가능성이 높다. Thwart Focus Area는 AI가 적대 세력의 역량을 어떻게 강화할 수 있는지, 이러한 공격이 전체 사이버보안 환경에 어떤 영향을 미칠 수 있는지, 조직이 이러한 신흥 위협에 대비하여 시스템을 강화하기 위해 무엇을 할 수 있는지를 다룬다.
사이버 공격이 진화하고 AI가 공격적 사이버 관련 작전에서 점점 더 유능해짐에 따라, 증가하는 위협에 맞게 시스템에 복원력과 견고성을 구축하는 것이 필요하다. 다른 유형의 사이버보안 공격과 마찬가지로, AI 기반 사이버 공격은 악용 가능한 취약점이나 약점 발견, 더 짧은 타임라인에서 공격 경로 진전, 데이터 유출 및 변조, 이전에 기술적으로 미숙했던 악의적 행위자의 역량 향상 등 사이버보안 환경의 모든 측면에서 적대 세력을 지원할 수 있다. AI 기반 공격이 다른 유형의 공격과 차별화되는 점은:
이러한 요인들은 이 진화하는 위협 환경을 적절하고 효율적으로 식별, 완화, 방어하는 능력에 영향을 미칠 것이다.
인력을 표적으로 하는 공격은 AI 기반 사이버 공격이 시스템에 발판을 마련하는 주요 방법 중 하나이다. AI 기반 스피어 피싱 공격은 딥페이크 공격과 같은 오디오 및 비디오 조작을 포함한 더 현실적인 커뮤니케이션을 통해 사용자를 악용한다. 또한, 새로운 생성형 AI(GenAI) 기법은 이메일 피싱을 통해 퍼질 수 있는 초현실적인 악성 웹사이트와 링크를 생성할 수 있다. 이러한 신흥 AI 기반 사이버 공격은 적대 세력이 생성하는 데 거의 노력이 들지 않으며, 소셜 미디어와 온라인에 분산된 개인 데이터의 확산으로 인해 신뢰 구축 서사를 따르는 의도된 표적의 개인화된 프로파일을 생성할 수 있다. 이러한 공격은 인력에 대한 최신 교육과 현재 이메일 및 인증 보안 조치를 강화하기 위한 통합된 자동화된 방어의 필요성을 보여준다.
AI 기반 공격의 또 다른 예는 적대 세력이 AI를 활용하여 새로운 형태의 멀웨어를 생성하여 의도를 난독화하거나 현재의 시그니처 기반 탐지 및 안티바이러스 시스템을 무력화하는 것이다. 여기에는 하드웨어가 아닌 컴퓨터 메모리에서 실행되는 멀웨어와, 심어진 멀웨어 명령을 숨기기 위한 가능성이 낮거나 겉보기에 무해한 파일 유형이 포함된다.
AI 기반 공격의 세 번째 예는 정찰과 공격 표면 매핑에서 취약점 악용, 자격증명 수집, 측면이동, 데이터 수집에 이르기까지 사이버 공격의 다양한 단계를 자율적으로 조율하기 위해 AI 에이전트를 사용하는 것이다. AI 에이전트는 네트워크 스캐너, 패스워드 크래커, 익스플로잇 프레임워크, 바이너리 분석 도구와 같은 일반적인 사이버보안 도구와 유틸리티를 자율적으로 운용할 수 있는 역량을 점점 더 갖추고 있다.
Thwart Focus Area는 Secure와 Defend의 역량을 기반으로 적대적 AI 사용에 앞서기 위한 추가적인 선제적 조치를 도출한다.
Tables 1-6은 CSF Core를 사용하여 106개 CSF Subcategories 각각에 대해 관련 있는 경우 AI 관련 고려사항을 요약한다. 각 테이블은 단일 CSF Function을 다루며, 다음 열을 포함한다:
Subcategory의 우선순위 수준은 각 테이블에서 번호로 표시된다:
조직은 사이버보안 프로그램의 일부로 모든 Subcategories를 다루는 전략을 개발해야 하지만, Cyber AI Profile에서 제시하는 우선순위는 각 Focus Area와 관련된 AI 과제를 해결하기 위한 가장 큰 영향을 제공할 사이버보안 역량을 제안하는 적응 가능한 지침을 제공한다. 모든 리스크 관리 논의에서와 마찬가지로, AI 관련 사이버보안 완화 조치를 배치하는 결정은 조직의 요구와 리스크 허용 범위의 맥락에서 평가되어야 한다. 특정 완화 조치에 대한 트레이드오프는 환경에 따라 달라질 수 있다.
참고: 입력과 피드백을 수집하기 위한 작업이 계속 진행 중이며, Cyber AI Profile 최종화 전에 상당한 변경이 가능하다. Cyber AI Profile 예비 초안과 뒤따르는 테이블은 진행 중인 작업의 초기 표현이며, 추가 정보에 대한 의견을 기대한다.
본 예비 초안에는 Informative References의 예시가 반영되어 있다. 추가 문헌 검토가 진행 중이며 NIST는 고려사항을 강화하기 위해 Cyber AI Profile에 포함해야 할 Informative References에 대한 추가 의견을 구하고 있다.
GOVERN (GV): 조직의 사이버보안 리스크 관리 전략, 기대, 정책이 수립, 전달, 모니터링된다.
사이버보안 리스크 관리 의사결정을 둘러싼 상황 — 미션, 이해관계자 기대, 의존성, 법적·규제적·계약적 요구사항 — 이 이해된다.
GV.OC-01: 조직 미션이 이해되고 사이버보안 리스크 관리에 반영된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조 |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.OC-02: 내부 및 외부 이해관계자가 이해되며, 사이버보안 리스크 관리에 대한 그들의 요구와 기대가 이해되고 고려된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 사용은 법률, 기술, 조달/구매, 거버넌스 팀을 포함한 조직 운영의 여러 측면에서 고려사항을 도입한다. 이러한 영역 간의 협력은 AI 관련 사이버보안 리스크를 다루는 데 필수적이다. 다학제적 접근은 포괄적인 기업 관점을 촉진한다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | 사이버 방어를 위한 AI 역량의 강점과 한계를 이해하는 것이 이해관계자 기대를 충족시키고 필요한 인간 감독과 자동화 간의 균형을 보장하는 데 중요하다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨 |
GV.OC-03: 사이버보안에 관한 법적, 규제적, 계약적 요구사항 — 프라이버시 및 시민 자유 의무 포함 — 이 이해되고 관리된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 법적, 규제적, 표준 환경은 빠르게 진화하고 있으며, AI 사용 여부, 시기, 방법에 관한 조직의 결정에 영향을 미칠 것이다. 조직은 자신의 책임에 대한 인식을 유지하기 위한 조치를 갖추어야 한다. 규제 및 법적 준수를 유지하기 위해 인간 감독이 필요할 것이다. |
| Secure (우선순위: 3) | AI 사용에 관한 법적 프레임워크가 진화 중이며, 특히 사이버보안, 프라이버시, 저작권 자료의 공정 사용, AI 학습 영역에서 그러하다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI 역량은 요구사항 분석·요약, 정책 개발 가속화, 리뷰 프로세스 단축, 문서 간 유사 개념 식별·매핑, 실시간 비준수 모니터링·식별·교정 자동화를 통한 감사 프로세스 간소화 등으로 법적, 규제적, 계약적 요구사항 준수를 지원할 수 있다. [고려사항] 방어적 AI 도구는 동의, 사용 및 집계 통제와 새로운 AI 관련 법률을 포함한 프라이버시 의무에 맞게 로그와 민감 데이터를 처리한다. AI 감사는 설명 가능성(explainability)과 같은 AI 고유의 요구를 다루면서 법적, 규제적, 계약적 요구사항 준수를 증명하도록 설계된다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.OC-04: 외부 이해관계자가 의존하거나 기대하는 핵심 목표, 역량, 서비스가 이해되고 전달된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 사이버보안에 대한 AI의 영향이 관리된다. AI의 사이버보안 역량과 한계가 사용자에게 이해되고 전달된다. 가드레일과 백업 계획이 수립되고 구현된다. |
| Secure (우선순위: 1) | AI의 의도된 용도와 알려진 한계를 전달하는 것이 효과적인 사용에 핵심적이다. AI가 어떻게 결정을 내리는지, 언제 실수를 하는지, 실수할 때 무엇을 해야 하는지가 사용자에게 전달된다. |
| Defend (우선순위: 1) | 조직은 AI 기반 사이버보안 방어가 이해관계자가 의존하는 서비스를 어떻게 지원하는지 이해하고 전달해야 한다. 여기에는 방어적 의사결정 지원과 AI 탐지가 포함된다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.OC-05: 조직이 의존하는 성과, 역량, 서비스가 이해되고 전달된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 출력은 예측 불가능하다. 시스템의 역량과 한계가 사용자에게 이해되고 전달된다. 가드레일과 백업 계획이 수립되고 구현된다. |
| Secure (우선순위: 1) | 조직은 AI 시스템에 의존하는 비즈니스 성과를 식별하고 이러한 의존성을 관련 팀에 명확히 전달한다. AI 모델의 의도된 용도와 한계를 이해하는 것이 효과적인 사용과 사이버보안 조치에 핵심적이다. 사용자는 AI가 어떻게 결정을 내리는지, 실수를 어떻게 식별하는지, 실수할 때 무엇을 해야 하는지 이해해야 한다. |
| Defend (우선순위: 2) | 조직은 어떤 방어 역량이 AI 시스템에 의존하는지 식별하고 이러한 용도와 의존성을 관련 팀에 명확히 전달해야 한다. 적대적 조작, 모델 드리프트, 할루시네이션에 대해 AI 방어 조치를 보호하기 위해 HITL 점검과 AI 출력이 조치를 취하기에 충분히 신뢰할 수 있는지를 나타내는 신뢰도 임계값을 적용한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
조직의 우선순위, 제약조건, 리스크 허용 범위 및 성향 명세, 가정이 수립, 전달되고 운영적 리스크 의사결정을 지원하는 데 사용된다.
GV.RM-01: 리스크 관리 목표가 수립되고 조직 이해관계자가 합의한다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 사용이 사이버보안 리스크 관리 목표와 어떻게 일치하는지 평가한다. 사이버보안 리스크 관리 목표를 수립할 때 AI 관련 목표를 포함한다 (예: FP 감소, 분류 속도 향상). |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 취약점을 분석하여 조기 경고를 발행하고 인시던트 발생 전 방어 조치의 우선순위를 정하는 데 도움을 준다. [고려사항] 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.RM-02: 리스크 성향(risk appetite)과 리스크 허용(risk tolerance) 명세가 수립, 전달, 유지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI에 대한 리스크 허용은 위협과 방어 역량의 진화하는 특성 때문에 빈번하게 재평가되어야 한다. |
| Secure (우선순위: 2) | AI 관련 리스크를 조직의 공식 리스크 성향 및 허용 명세에 통합한다. AI 시스템의 특성이 진화함에 따라 정기적으로 리스크 성향 및 허용을 업데이트한다. |
| Defend (우선순위: 2) | AI 관련 리스크를 조직의 공식 리스크 성향 및 허용 명세에 통합한다. AI 시스템의 특성이 진화함에 따라 정기적으로 리스크 성향 및 허용을 업데이트한다. |
| Thwart (우선순위: 1) | 신흥 AI 기반 위협과 공격에 따른 새로운 리스크 허용 권고가 필요할 수 있다. |
GV.RM-03: 사이버보안 리스크 관리 활동 및 성과가 전사 리스크 관리 프로세스에 포함된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 리스크 관리를 기존 전사 리스크 관리 관행 및 거버넌스 구조에 통합한다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | AI 보안 위협과 AI 특화 보안 통제(예: 데이터 출처 추적)의 효과가 조직의 전사 리스크 관리에 공식적으로 보고되고 반영되도록 보장한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.RM-04: 적절한 리스크 대응 옵션을 설명하는 전략적 방향이 수립되고 전달된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조 |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 취약점을 분석하여 조기 경고를 발행하고 인시던트 발생 전 방어 조치의 우선순위를 정하는 데 도움을 준다. AI가 기술적 리스크를 간결한 인사이트로 요약하여 복잡한 기술 데이터를 명확한 비즈니스 언어로 변환하고 경영진이 정보에 입각한 리스크 결정을 내리도록 지원한다. [고려사항] 프롬프트 인젝션, 모델 인버전, 데이터 포이즈닝과 같은 고유한 AI 관련 리스크에 맞춤화된 특정 전략적 리스크 대응 옵션(예: 완화, 회피)을 수립하고 전달한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.RM-05: 공급자 및 기타 제3자의 리스크를 포함한 사이버보안 리스크에 대한 조직 내 커뮤니케이션 채널이 수립된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 위협 벡터 및/또는 방어 역량에 관한 정보를 공유하기 위한 AI 특화 커뮤니케이션 채널을 만든다. |
| Secure (우선순위: 2) | AI는 사이버보안 리스크에 관한 빈번한 업데이트가 필요할 가능성이 높은 빠르게 진화하는 공간이다. |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 표준 프로토콜(STIX, OpenCTI 등)을 사용하여 위협 인텔리전스를 포맷하고 공유하여 팀과 파트너가 정렬된 상태를 유지하도록 한다. [고려사항] 실시간 사이버보안 인시던트 중 AI 기반 도구와 인간 분석가 간에 빠르게 공유하고 에스컬레이션하기 위한 특정 커뮤니케이션 채널을 만든다. |
| Thwart (우선순위: 2) | 취약점 관리가 조직 전체에 전달되고 구현되도록 보장하며, AI 기반 공격을 다루고 에스컬레이션하기 위한 커뮤니케이션 채널을 만든다. |
GV.RM-06: 사이버보안 리스크를 계산, 문서화, 분류, 우선순위를 정하는 표준화된 방법이 수립되고 전달된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 위협과 역량이 진화함에 따라 현재 환경에 맞도록 조직의 사이버보안 리스크 허용을 조절한다. |
| Secure (우선순위: 2) | AI 시스템은 일반적으로 다른 유형의 소프트웨어보다 더 예측 불가능하다. AI 리스크를 계산, 분류, 우선순위를 정하는 방법은 예측 불가능한 동작의 규모와 범위 때문에 다른 유형의 소프트웨어와 다르게 취급된다. |
| Defend (우선순위: 2) | AI 특화 위협(예: 모델 남용, 데이터 유출, 신흥 리스크)을 식별하고 대응하는 탐지 및 통제 메커니즘을 통합하여 방어 시스템이 알려지지 않았거나 진화하는 공격 패턴에 적응하도록 보장한다. |
| Thwart (우선순위: 2) | 위협에 관한 통찰이 리스크 계산 및 우선순위 기준에 반영된다. |
GV.RM-07: 전략적 기회(즉, 긍정적 리스크)가 특성화되고 조직의 사이버보안 리스크 논의에 포함된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조 |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 1) | 사이버 방어 활동에서 AI 사용을 논의할 때 긍정적 리스크를 고려한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
책임성, 성과 평가, 지속적 개선을 촉진하기 위한 사이버보안 역할, 책임, 권한이 수립되고 전달된다.
GV.RR-01: 조직 리더십이 사이버보안 리스크에 대해 책임지고, 리스크를 인식하고, 윤리적이며, 지속적으로 개선하는 문화를 조성한다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조 |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 기술적 리스크를 간결한 인사이트로 요약하여 경영진이 정보에 입각한 리스크 결정을 빠르게 내리도록 지원한다. [고려사항] 사이버보안 리더는 AI 역량이 사이버보안 프로그램의 요구를 어떻게 지원할 수 있는지 평가하고, AI가 도입하는 새로운 리스크가 사이버보안 및 전사 리스크 프로세스에 반영되도록 보장한다. AI 기반 방어 조치와 정책을 승인하고 감독하는 조직 리더십 구성원을 식별한다. 생성된 리스크 언어의 정확성과 조직 요구와의 일치 여부를 검토한다. |
| Thwart (우선순위: 2) | AI 리스크의 진화하는 특성에 대한 인식을 유지하고 새로운 리스크를 조직 전체에 전달한다. |
GV.RR-02: 사이버보안 리스크 관리와 관련된 역할, 책임, 권한이 수립, 전달, 이해, 시행된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템의 행위에 대해 인간이 책임을 진다. |
| Secure (우선순위: 3) | 조직은 자율 시스템이 취하는 행위에 대해 누가 책임을 지는지 결정한다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI 에이전트가 네트워크 모니터링, 방어 조치 검증, 탐지 정확도 향상을 통해 사이버보안 인력을 보강하고 인간 워크로드를 줄일 수 있다. [고려사항] AI 기반 방어 조치(예: 자동 차단)에 대한 책임을 정의하고 할당한다. |
| Thwart (우선순위: 2) | 조직은 시스템의 방어와 복원력을 강화하기 위한 역할과 책임에 인력을 배정한다. |
GV.RR-03: 사이버보안 리스크 전략, 역할, 책임, 정책에 부합하는 적절한 자원이 할당된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 인력이 조직의 AI 시스템 관리 요구를 충족시키기에 충분한 권한과 자원(예: 예산)을 보유한다. AI 시스템의 적절한 사용과 방어에 관한 인력 교육을 위한 적절한 자원이 할당된다 (PR.AT-01, -02 참조). |
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] 생산성, 효율성 및 기타 향상으로 인력을 지원하기 위한 자원이 할당된다 (예: AI가 분석가의 문제 해결을 지원). |
| Thwart (우선순위: 1) | 계층적 접근법을 통해 복원력을 강화하고 공격을 견딜 수 있도록 자원이 제공된다. |
GV.RR-04: 사이버보안이 인사 관행에 포함된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템 관리를 위한 인력 역할, 책임, 기술이 잘 정의되고 문서화되어 인력이 AI의 역량, 한계, 리스크, 기회, 영향, 위협을 이해한다. 이 정보는 적절한 경우 채용 프로세스, 인사 관리, 역할 기반 교육에 통합되어야 한다 (PR.AT-02 참조). |
| Secure (우선순위: 1) | AI 모델의 한계를 이해하는 것이 효과적인 사용에 핵심적이다. AI가 어떻게 결정을 내리는지, 언제 실수할 가능성이 높은지 학습하고, 실수가 발생할 때 무엇을 해야 하는지 사용자에게 전달한다. |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 1) | AI 기반 공격으로 인해 위협 환경이 진화하는 속도가 증가하며, 인력 요구와 교육에 보조를 맞추기 위한 추가 자원이 필요할 가능성이 높다. |
조직의 사이버보안 정책이 수립, 전달, 시행된다.
GV.PO-01: 사이버보안 리스크 관리를 위한 정책이 조직적 맥락, 사이버보안 전략, 우선순위에 기반하여 수립되고 전달 및 시행된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 규제 요구사항을 분석하고, 감사 및 감사 프로세스를 간소화하며, 현재 방어가 규제 표준을 충족하는 위치를 정확히 식별한다. [고려사항] 가드레일, 투명성, HITL 검증 사용의 균형, 인간 검토의 중요성, 리스크 결정 전 False Negative 및 False Positive 대응을 포함한 AI 기반 사이버 방어 조치에 대한 규칙을 통합한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.PO-02: 사이버보안 리스크 관리를 위한 정책이 요구사항, 위협, 기술, 조직 미션의 변화를 반영하여 검토, 업데이트, 전달, 시행된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 관련 정책을 더 빈번하게 업데이트한다. |
| Secure (우선순위: 1) | AI 시스템과 사용에 관련되거나 영향을 미치는 정책은 요구사항, 위협, 기술적 역량의 급격한 변화로 인해 더 빈번한 업데이트가 필요할 수 있다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 정책 요구사항을 요약하고, 방어 조치가 요구사항 및 규칙과 충돌하는지 확인하고 표시하는 거버넌스 점검 역할을 한다. [고려사항] AI 위협이 빠르게 변화하고 있으므로 사이버보안 리스크 관리 정책을 빈도를 높여 검토한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨 |
조직 전체 사이버보안 리스크 관리 활동 및 성과의 결과가 리스크 관리 전략을 알리고, 개선하고, 조정하는 데 사용된다.
GV.OV-01: 사이버보안 리스크 관리 전략 성과가 전략과 방향을 알리고 조정하기 위해 검토된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 부정적 이벤트와 방어 완화 조치를 모니터링하여 방어 시스템의 실현 가능성과 효과를 판단한다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 정책 요구사항을 요약하고, 규칙과 충돌하는 방어 조치를 확인하고 표시하는 거버넌스 점검 역할을 한다. [고려사항] AI 기반 방어 성과를 정기적으로 검토하여 새로운 리스크(예: 탐지 실패)를 도입하지 않으면서 FP를 줄이는지 판단한다. |
| Thwart (우선순위: 2) | AI 기반 인시던트로부터의 탐지, 대응, 복구 관리가 실현 가능한지 확인하기 위해 필요에 따라 사용을 조정한다. |
GV.OV-02: 사이버보안 리스크 관리 전략이 조직 요구사항과 리스크의 범위를 보장하기 위해 검토되고 조정된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 리스크와 기회가 나타남에 따라 관리 전략을 정기적으로 업데이트한다. |
| Secure (우선순위: 2) | AI는 리스크와 기회의 급격한 변화를 다루기 위해 사이버보안 리스크 관리 전략의 더 빈번한 업데이트를 요구할 수 있다. |
| Defend (우선순위: 2) | 적대적 ML 연구 결과와 내부 레드팀 테스트 결과에 따른 새로운 공격 패턴을 반영하기 위해 빈도를 높인 업데이트가 필요할 수 있다. |
| Thwart (우선순위: 2) | AI 기반 전술과 기법으로 인한 신흥 공격 패턴은 빠르게 변화하는 기술적 역량에 보조를 맞추기 위해 새로운 전략과 더 긴밀한 피드백을 필요로 할 수 있다. |
GV.OV-03: 조직의 사이버보안 리스크 관리 성과가 필요한 조정을 위해 평가되고 검토된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 명확한 인시던트 요약과 컴플라이언스 보고서를 작성하고, 증거를 정리하고, 표준화된 문서를 생성하여 분석가의 워크로드를 줄이는 보고 작업을 지원한다. AI가 생성한 보고서는 조직 리스크 관리를 변경하기 전에 분석가 등의 인간 검토를 거쳐야 한다. [고려사항] 정밀도, 재현율, 인간 오버라이드 비율을 측정하여 필요한 조정을 위해 평가하고 검토한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
사이버 공급망 리스크 관리 프로세스가 조직 이해관계자에 의해 식별, 수립, 관리, 모니터링, 개선된다.
GV.SC-01: 사이버보안 공급망 리스크 관리 프로그램, 전략, 목표, 정책, 프로세스가 수립되고 조직 이해관계자가 합의한다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 조직은 AI 구성요소(예: 마이크로서비스, 컨테이너, 라이브러리, 데이터, 하드웨어, 소프트웨어)의 출처, 도입할 수 있는 새로운 취약점, 사이버보안에 대한 잠재적 영향을 이해해야 한다. |
| Secure (우선순위: 2) | AI에서 데이터 출처(data provenance)는 소프트웨어 및 하드웨어 출처와 동일한 비중으로 다뤄져야 한다. 모든 데이터 입력(학습 데이터와 추론 입력 모두)은 AI의 공급망 측면이다. 강화학습(RL)에서 데이터는 학습 환경에서 온다. 모델의 환경 조건이 공급망 리스크와 일치하는지 특별히 주의한다. |
| Defend (우선순위: 2) | 데이터 포이즈닝과 변조를 탐지하고 방지하기 위해 학습 및 입력 데이터(데이터 공급망의 일부)의 무결성을 검증해야 한다. 일부 조직에서 RL은 네트워크의 악성 활동을 탐지하는 데 사용될 수 있다. 예를 들어, 온라인 학습을 사용하는 모델은 일상 활동으로부터 지속적으로 개선된다. 악의적 행위자가 모델의 알람 시스템을 의도적으로 트리거하면서 네트워크를 정상적으로 유지하는 방법을 알아낼 수 있다. 시간이 지남에 따라 모델은 이 행동이 오경보를 생성하고 있다고 “학습”하여 향후 이 행동이 발생할 때 운영자에게 경고하지 않을 수 있다. 이로부터 보호하려면 모델이 어떻게 학습되는지에 대한 신중한 고려가 필요하다(즉, 온라인 학습을 허용하지 않거나 데이터셋을 검증). |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 내부 데이터, 시스템, 소프트웨어에 접근하는 공급자 및 제3자가 AI 기반 사이버 공격의 표적이 될 수 있다. |
GV.SC-02: 공급자, 고객, 파트너에 대한 사이버보안 역할과 책임이 수립, 전달, 내부 및 외부적으로 조율된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 소프트웨어 자재 명세서(AI SBOM)를 사용하여 AI 구성요소의 투명성과 책임성을 향상시킨다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-03: 사이버보안 공급망 리스크 관리가 사이버보안 및 전사 리스크 관리, 리스크 평가, 개선 프로세스에 통합된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 1) | AI 소프트웨어를 고려할 때 공급망 리스크 관리를 위한 사이버보안 관행은 동일하게 유지되지만, 데이터가 AI 시스템 운영에서 큰 역할을 하며 소프트웨어 공급망과 동일한 중요도로 취급되어야 한다는 점도 고려한다. |
| Defend (우선순위: 2) | 손상된 모델과 오염된 데이터셋이 방어 역량을 약화시키는 것을 방지하기 위해 사이버보안 공급망 리스크 관리에 AI 관련 리스크 고려사항을 통합한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-04: 공급자가 파악되고 중요도에 따라 우선순위가 정해진다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI 기반 서비스는 데이터, 컴퓨팅 인프라, 소프트웨어, 모델, 추론 엔드포인트에 대한 공급자 의존도를 높인다. 이는 공급자를 파악하는 것의 중요성을 높이지만, 공급자를 식별하고 우선순위를 정하는 방법 자체는 동일하다. |
| Defend (우선순위: 3) | 사이버보안 방어에 사용되는 AI 모델을 손상될 경우의 잠재적 부정적 영향에 따라 순위를 매겨 방어 조치의 우선순위를 효과적으로 설정할 수 있도록 한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-05: 공급망의 사이버보안 리스크를 다루기 위한 요구사항이 수립, 우선순위가 정해지고, 공급자 및 기타 관련 제3자와의 계약 및 기타 유형의 합의에 통합된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 표준 사이버보안 관행이 적용됨 |
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI 시스템은 대부분의 소프트웨어 시스템보다 더 넓은 공급망을 가진다(예: 제3자 하드웨어 및 컴퓨팅 인프라에 대한 더 높은 의존도). 이러한 요구사항을 수립하는 것이 중요하지만 방법 자체는 다른 유형의 소프트웨어와 동일하다. 예를 들어, AI 시스템은 일반적으로 다른 소프트웨어보다 더 의미 있는 방식으로 학습 데이터에 의존한다. 따라서 조직은 소프트웨어와 하드웨어뿐만 아니라 데이터에 대한 공급망도 고려한다. |
| Defend (우선순위: 2) | 벤더에게 인시던트 지원을 포함한 모델 및 데이터 범위를 공개하도록 요구한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-06: 공식적인 공급자 또는 기타 제3자 관계를 맺기 전에 리스크를 줄이기 위한 계획과 실사가 수행된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 제3자 공급자가 이러한 모델을 생성할 때 자체적으로 실사를 수행하고 있는지 확인한다. 여기에는 모델이 사내에서 생성되는 경우 고려될 모든 고려사항이 포함된다. 공급자가 사용하는 모델 학습 방법과 입력 데이터가 접근 가능하고 투명한지 확인한다. |
| Secure (우선순위: 2) | 제3자 관계를 맺기 전에 공급자의 신뢰성, 데이터의 투명성, 학습 및 평가 방법을 고려한다. |
| Defend (우선순위: 3) | 제3자 AI 솔루션을 도입하기 전에, 모델 취약점, 윤리적 일치, 성능 영향을 평가하기 위한 AI 특화 실사와 적대적 테스트를 수행한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-07: 공급자, 그들의 제품과 서비스, 기타 제3자가 제기하는 리스크가 관계 과정 전반에 걸쳐 이해, 기록, 우선순위 설정, 평가, 대응, 모니터링된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) 시스템이 AI 지원이든 아니든 이러한 리스크를 처리하는 방법은 대체로 동일하지만, 고려해야 할 매우 중요한 사항으로 남아 있다. |
| Defend (우선순위: 1) | 공급자로부터 발생하는 적대적 행위, 데이터 유출, 손상된 구성요소를 식별하기 위해 공급자 제공 AI 모델, 데이터셋, API에 대한 지속적 모니터링 및 위협 탐지를 구현한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-08: 관련 공급자 및 기타 제3자가 인시던트 계획, 대응, 복구 활동에 포함된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI 맥락에서 공급자 협력 방법은 동일하지만, 이러한 관계를 수립하는 것의 중요성은 높게 유지된다. |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 표준 프로토콜(STIX, OpenCTI 등)을 사용하여 위협 인텔리전스를 수집, 포맷, 공유하여 팀과 파트너가 정렬된 상태를 유지하도록 한다. [고려사항] 적대적 공격 및 데이터 포이즈닝의 조율된 탐지에 초점을 맞추어 공급자 및 파트너, 특히 AI 모델 또는 데이터를 제공하는 이들을 AI 특화 인시던트 대응 및 복구 계획에 통합한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-09: 공급망 리스크가 제품 및 서비스의 획득, 사용, 관리에서 다른 관련 리스크와 함께 평가, 대응, 모니터링된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI를 도입하면 더 많은 공급자와 데이터 소스가 중요해진다. |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
GV.SC-10: 사이버보안 공급망 리스크 관리 계획에 리스크 평가에 부합하는 조항이 포함된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
IDENTIFY (ID): 조직의 현재 사이버보안 리스크가 이해된다.
조직이 비즈니스 목적을 달성하도록 하는 자산(예: 데이터, 하드웨어, 소프트웨어, 시스템, 시설, 서비스, 인력)이 조직의 목표 및 리스크 전략에 부합하게 식별되고 관리된다.
ID.AM-01: 조직이 관리하는 하드웨어 인벤토리가 유지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조. (참조: NIST SP 800-53 Rev 5: CM-08; PM-05) |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | AI 기반 사이버 방어를 수행하는 데 사용되는 가속 컴퓨팅 자원의 인벤토리를 관리한다. 이러한 자산을 추적하면 방어를 위한 충분한 컴퓨팅 용량을 보장하고 인시던트 대응 중 더 빠른 범위 설정과 격리를 지원한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
ID.AM-02: 조직이 관리하는 소프트웨어, 서비스, 시스템의 인벤토리가 유지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 역량이 기존 시스템에 점점 더 내장되고 있으며, 이는 최신 인벤토리 유지에 대한 과제를 도입할 수 있다. (참조: NIST SP 800-53 Rev 5: AC-20; CM-08; PM-05; SA-05; SA-09) |
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 내장된 AI 역량을 가진 시스템을 식별하는 것이 항상 간단하지는 않으며, 특히 제3자가 구매한 시스템에서 그러하다. |
| Defend (우선순위: 2) | 인벤토리에는 AI 모델, API, 키, 에이전트, 데이터(ID.AM-07 참조), 그리고 그들의 통합 및 권한이 포함되어야 한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
ID.AM-03: 조직의 인가된 네트워크 통신 및 내부·외부 네트워크 데이터 흐름의 표현이 유지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조. (참조: NIST SP 800-53 Rev 5: AC-04; CA-03; CA-09; PL-02; PL-08; PM-07) |
| Secure (우선순위: 1) | 트래픽을 네 가지 구분으로 분류한다: 내부 인간 생성 트래픽, 내부 컴퓨터 생성 네트워크 트래픽(cron 작업이나 자동화된 프로세스 등), 내부 AI 기반 트래픽(웹을 검색하거나 조직 자원을 활용하는 AI 도구), 외부 트래픽. 외부 트래픽은 인간 또는 봇 생성을 구분하기 어렵다. 그러나 공급망 공격 시도를 더 잘 탐지하기 위해 모델 레지스트리와 데이터셋 소스를 둘러싼 네트워크 트래픽을 추적하는 데 가치가 있다. |
| Defend (우선순위: 2) | 추론 요청 경로, 학습 데이터 파이프라인을 포함한 AI 데이터 흐름의 표현을 유지하여 방어 경계를 시행하고 이상을 탐지한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. 네트워크를 이해하면 보안 이벤트가 발생하고 있음을 나타낼 수 있는 정상 및 비정상 트래픽에 대한 더 명확한 이해를 촉진한다. |
ID.AM-04: 공급자가 제공하는 서비스의 인벤토리가 유지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조. (참조: NIST SP 800-53 Rev 5: AC-20; SA-09; SR-02) |
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 제3자 서비스를 인벤토리하는 것이 중요하지만 AI 맥락에서 방법이 달라지지는 않는다. |
| Defend (우선순위: 3) | 공급자가 제공하는 외부 AI 방어 구성요소 및 서비스(예: 탐지 모델)가 서비스 인벤토리에 포함되어야 한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. 최신 인벤토리는 AI 기반 공격의 영향을 받거나 원인이 되는 공급자 및 제3자가 제공하는 서비스의 추적과 관리를 가능하게 한다. |
ID.AM-05: 자산이 분류, 중요도, 자원, 미션에 대한 영향에 따라 우선순위가 정해진다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조. (참조: NIST SP 800-53 Rev 5: RA-03; RA-09; RA-02) |
| Secure (우선순위: 2) | AI 시스템에 대한 새로운 분류가 필요하다. 이러한 시스템은 다른 소프트웨어 시스템이 일반적으로 영향을 받지 않는 방식으로 시스템의 기능과 취약점에 직접적으로 기여하는 자원(학습 데이터셋 등)을 소비하고 사용한다. |
| Defend (우선순위: 3) | AI 기반 방어를 위해 AI 자산(예: 모델, 추론 서비스)의 중요도, 미션 영향, 데이터 분류에 따라 우선순위를 설정한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
ID.AM-07: 지정된 데이터 유형에 대한 데이터 및 해당 메타데이터의 인벤토리가 유지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조. (참조: NIST SP 800-53 Rev 5: CM-12; CM-13; SI-12) |
| Secure (우선순위: 1) | 데이터 출처(provenance)와 데이터 인벤토리는 데이터 및 메타데이터의 특성과 이에 수반되는 요구사항(예: 사용 계약, 동의)을 이해하는 데 상호 보완적 역할을 한다. 외부 소스에서 수집되거나 공유될 데이터에 대해 추가적인 주의가 필요할 수 있다. NIST 프라이버시 프레임워크가 프라이버시 리스크 관리에 도움이 될 수 있다. ML에 사용되는 데이터의 전체적인 그림을 포착하기 위해 새로운 메타데이터를 추적해야 한다. 예를 들어, 모델을 학습시키기 위해 어떤 인메모리 데이터 변환/증강이 이루어지고 있는가? AI 데이터셋의 출처를 유지관리한다. 수정된 데이터는 데이터 포이즈닝이 발생했음을 나타낼 수 있다. 조직 외부에서 유래한 학습 데이터는 추가적인 불확실성을 도입할 수 있다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI 기술은 조직이 관리하는 데이터와 메타데이터가 네트워크에서 어디에 있는지, 그 특성을 파악하고, 컴플라이언스 및 기타 리스크 관리 요구사항과 정렬하는(예: 법이나 규정에 따라 보호 대상인 데이터 식별) 역량을 향상시킨다. [고려사항] 효과적인 AI 기반 방어를 위해 데이터와 해당 메타데이터(예: 위치, 필요한 보호)를 이해하는 것이 중요하다. AI는 데이터를 자동으로 발견, 라벨링·분류, 특별 처리가 필요한 정보를 식별하는 데 도움이 된다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
ID.AM-08: 시스템, 하드웨어, 소프트웨어, 서비스, 데이터가 수명주기 전반에 걸쳐 관리된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조. (참조: NIST SP 800-53 Rev 5: CM-09; CM-13; MA-02; MA-06; PL-02; PM-22; PM-23; SA-03; SA-04; SA-08; SA-22; SI-12; SI-18; SR-05; SR-12) |
| Secure (우선순위: 1) | 데이터는 AI 기반 시스템의 성능에서 특히 중요한 역할을 한다. 특히 자동화된 결정을 내리거나 다른 프로세스(예: 학습 데이터)에 데이터를 기여하는 시스템의 경우, 해당 데이터와 시스템의 수명주기 전반에 걸쳐 데이터 품질을 보장하는 것이 실수와 “나쁜” 데이터가 확산되지 않도록 하는 데 특히 중요할 수 있다. |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 수명주기 전반에 걸쳐 시스템을 유지관리하면 복원력이 향상되고, AI 기반 공격이 오래되거나 잘못 관리된 구성요소를 새로운 공격 표면으로 활용하려 할 때 효과성이 보장된다. |
자산에 대한 사이버보안 리스크가 조직에 의해 이해된다.
ID.RA-01: 자산의 취약점이 식별, 검증, 기록된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 새로운 종류의 취약점(즉, 적대적 입력)을 도입하며, 조직은 AI 애플리케이션을 보안하고 AI 시스템을 사용하여 조직을 방어할 때 이를 고려해야 한다. AI 시스템은 또한 소프트웨어의 기존 취약점을 활용할 수 있다. (참조: NIST SP 800-53 Rev 5: CA-02; CA-07; CA-08; RA-03; RA-05; SA-11(02); SA-15(07); SA-15(08); SI-04; SI-05) |
| Secure (우선순위: 1) | 적대적 입력과 같은 새로운 종류의 취약점이 AI에 존재한다. 이는 식별, 추적, 기록되어야 할 새로운 취약점 세트를 도입한다. |
| Defend (우선순위: 1) | AI 특화 공격(예: 적대적 입력, 모델 회피)을 취약점 관리에 포함시키고, 방어가 최신인지 확인하기 위해 최근 위협 보고서에 기록된 AI 기반 공격에 대해 경고 표시한다. |
| Thwart (우선순위: 1) | 소프트웨어와 같은 자산의 취약점은 잠재적으로 AI 기반 공격에 의해 악용될 수 있으며, 이전 사이버보안 정책보다 더 빠른 식별 및 해결 시간이 필요하다. |
ID.RA-02: 정보 공유 포럼 및 출처로부터 사이버 위협 인텔리전스를 수신한다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 간행물, 저널, ISAC/ISAO, AI-ISAC(미국 AI 행동 계획의 권고에 따른), 기타 포럼의 AI 관련 위협 인텔리전스와 같은 새로운 정보 공유 출처를 통합한다. 사용 가능한 자원의 예로는 OWASP, AI 인시던트 데이터베이스(AIID), MITRE ATLAS™가 있다. (참조: NIST SP 800-53 Rev 5: SI-05; PM-15; PM-16) |
| Secure (우선순위: 2) | 모델에 즉각적인 실세계 영향을 미칠 수 있는 일부 정보는 AI 학술 간행물에서 올 수 있다. 예를 들어, AI 탈옥(jailbreaking)과 프롬프트 인젝션 기법은 다른 사이버보안 정보 출처에 비해 AI 관련 저널에서 발견·출판될 가능성이 더 높다. |
| Defend (우선순위: 2) | [Sample Opportunities] AI는 방어자가 대규모 데이터셋을 스캔하고 대량의 위협 인텔리전스를 빠르게 분석하며 여러 소스의 정보를 상관관계 분석함으로써 도움을 준다. 이는 방어자에게 위협 환경에 대한 명확하고 더 예측적인 관점을 제공한다. [고려사항] 연구 및 산업 공유 자원(예: ATLAS™)에서 탈옥, 프롬프트 인젝션과 같은 AI 중심 CTI를 검색한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨. (근거) 레드팀 및 침투 테스트 연습과 AI 관련 학술 간행물의 정보가 AI 기반 공격 저지를 위한 향후 역량에 반영되어야 한다. |
ID.RA-03: 조직에 대한 내부 및 외부 위협이 식별되고 기록된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 조직에 대한 무수한 새로운 내부 및 외부 위협을 제시하지만, 동시에 이러한 위협에 대한 방어 기회도 제공한다. (참조: NIST SP 800-53 Rev 5: PM-12; PM-16; RA-03; SI-05) |
| Secure (우선순위: 1) | LLM 기반 시스템은 자율적으로 운영될 수 있으며, 때때로 컴퓨팅 환경 내에서 임의 코드를 실행하는 능력이 부여된다. 자율적 행동에 관한 잠재적 불확실성(예: 코드 실행으로 조작되는 것)이 다른 위협과 함께 고려되어야 한다. AI 시스템은 완벽하게 예측 가능하지 않다. 이러한 시스템은 학습 도메인 밖의 입력을 제시받을 때 예상치 못한 출력을 낼 수 있다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI는 이상을 표시하고, 의심스러운 행동을 상관관계 분석하며, 다른 도구보다 빠르게 비정상적 패턴을 발견하여 모니터링을 개선하고 위협 탐지를 강화한다. AI는 IT, OT, IoT 전반의 내부 및 외부 위협을 식별하기 위해 대규모 데이터셋을 스캔하고 대량의 위협 인텔리전스를 빠르게 분석하여 방어자에게 위협 환경에 대한 명확한 관점을 제공한다. [고려사항] AI 기반 피싱, 딥페이크, 에이전트 조작과 같이 방어 시스템을 직접 표적으로 하거나 오도할 수 있는 내부 및 외부 AI 기반 위협을 고려한다. 방어 팀은 이러한 위협을 식별, 로깅, 분석하는 프로세스를 수립해야 한다. |
| Thwart (우선순위: 1) | AI 기반 피싱 및 소셜 엔지니어링 전술과 기법의 증가된 위험으로 인해, AI가 생성한 이메일, 챗봇, 오디오/비주얼 콘텐츠를 통해 인력을 악용하는 새로운 트렌드를 포괄하는 최신 인식 및 교육을 강조한다. |
ID.RA-04: 위협이 취약점을 악용할 수 있는 잠재적 영향과 가능성이 식별되고 기록된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 모든 Focus Area에 걸쳐 새로운 별개의 고려사항을 도입한다. MITRE ATLAS™와 같은 자원이 조직이 영향을 이해하는 데 도움이 될 수 있다. (참조: NIST SP 800-53 Rev 5: PM-09; PM-11; RA-02; RA-03; RA-08; RA-09) |
| Secure (우선순위: 1) | AI 시스템은 적대적 입력, 데이터 유출, 데이터 포이즈닝, 오류 증폭 피드백 루프, 개념 드리프트와 같은 많은 새로운 공격 벡터를 제시한다. |
| Defend (우선순위: 1) | AI 기반 사이버 방어 사용과 함께 발생하는 새로운 리스크 벡터(예: 데이터 유출, 과도한 의존, 과도한 에이전시)를 리스크 모델링에 포함한다. |
| Thwart (우선순위: 1) | AI 기반 공격은 기존 취약점을 표적으로 하고 취약점 발견을 지원할 것이다 — 리스크 분석과 취약점 관리가 우선시되어야 한다. |
ID.RA-05: 위협, 취약점, 가능성, 영향이 내재 리스크를 이해하고 리스크 대응 우선순위를 알리는 데 사용된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 위협, 가능성, 영향에 기반하여 통제의 우선순위를 정하여 높은 리스크의 AI 오류를 줄인다. (참조: NIST SP 800-53 Rev 5: PM-16; RA-02; RA-03; RA-07) |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 기술적 리스크를 간결한 인사이트로 요약하여 경영진이 정보에 입각한 리스크 결정을 내리도록 지원한다. [고려사항] AI 사이버보안 방어 역량이 배포 전에 의도된 목적에 충분히 성숙한지 지속적으로 평가한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 리스크 대응의 우선순위를 정할 때 AI 기반 공격의 영향을 반영한다. |
ID.RA-06: 리스크 대응이 선택, 우선순위 설정, 계획, 추적, 전달된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 식별된 일반 고려사항 없음 — Focus Area 고려사항 참조. (참조: NIST SP 800-53 Rev 5: PM-09; PM-18; PM-30; RA-07) |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI는 선제적 리스크 관리와 인시던트 결과 예측에 사용되어 더 빠른 대응을 가능하게 하고, 리스크 대응을 알리며, 인력의 결정 전달을 지원한다. AI가 취약점을 분석하여 조기 경고를 발행하고 인시던트 발생 전 방어 조치의 우선순위를 정하는 데 도움을 준다. [고려사항] 리스크 대응 중 AI 자율성을 비활성화하는 조건을 정의하는 동시에, AI 예측 인시던트 결과를 활용하여 리스크 대응의 우선순위를 정하고 전달한다. |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) 조직이 직면하는 기본 리스크와 위협은 AI의 존재로 인해 증가하며, AI는 또한 사이버 공격 수행의 진입 장벽을 낮춘다. 그러나 이 Subcategory에 대해 조직이 구현해야 하는 사이버보안 통제는 동일하다. |
ID.RA-07: 변경사항과 예외가 관리되고, 리스크 영향이 평가되고, 기록되고, 추적된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템에 대한 변경이 전체 기능에 어떤 영향을 미칠지 예측하기 어렵다. 조직은 하드웨어, 소프트웨어, 구성 값, 학습 데이터에 대한 모든 변경사항을 기록하기 위해 버전 관리 프로세스를 사용해야 한다. AI를 사용하는 사이버보안 방어를 위해 모델, 학습 데이터, 모델 구성 설정(예: 하이퍼파라미터)에 대한 변경사항을 검토하고 로깅한다. (참조: NIST SP 800-53 Rev 5: CA-07; CM-03; CM-04) |
| Secure (우선순위: 2) | AI 시스템에 대한 작은 변경조차도 사전에 알 수 없는 리스크를 도입할 수 있다. 변경을 실행하고 결과 AI를 테스트하지 않고는 모델에 대한 변경의 영향을 예측하기 어려울(또는 불가능할) 수 있다. |
| Defend (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) 사이버보안 방어는 조직 보호에 핵심적 역할을 한다. |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) 사소한 변경이라도 AI 기반 공격이 악용할 수 있는 약점을 시스템에 도입할 수 있다. |
ID.RA-08: 취약점 공개를 수신, 분석, 대응하는 프로세스가 수립된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) 취약점 관리, 공개, 대응은 AI 기반 공격이 대규모로 취약점을 악용하는 속도와 효율성 때문에 더 높은 우선순위가 필요하다. |
ID.RA-09: 하드웨어와 소프트웨어의 진정성과 무결성이 취득 및 사용 전에 평가된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 진정성과 무결성을 검증하는 방법은 변경되지 않지만, 제3자 도구에 대한 가시성 부족으로 AI 맥락에서 중요도가 높아진다. |
| Defend (우선순위: 2) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 비인가 또는 악성 AI의 사용을 피하기 위해 위조 하드웨어 및 소프트웨어의 사용을 방지하기 위한 추가 조치가 필요할 수 있다. |
ID.RA-10: 핵심 공급자가 취득 전에 평가된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 내부 데이터, 시스템, 소프트웨어에 접근하는 공급자 및 제3자가 AI 기반 사이버 공격의 표적이 될 수 있다. |
조직의 사이버보안 리스크 관리 프로세스, 절차, 활동의 개선이 모든 CSF Function에 걸쳐 식별된다.
ID.IM-01: 평가로부터 개선점이 식별된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 고려해야 할 새로운 메트릭 세트를 도입한다. 조직의 목표와 밀접하게 일치하는 메트릭을 신중히 선택한다. 예를 들어, FP가 FN보다 훨씬 더 중요한 경우, 평가 메트릭은 재현율보다 정밀도에 더 크게 영향을 받으며, F1 점수와 같은 메트릭을 사용하면 결과가 불분명해질 수 있다. 사이버보안 활동에서 AI 사용을 지속적으로 개선하기 위한 피드백 루프를 통합한다. |
| Secure (우선순위: 2) | ML에서 평가는 신중히 검토되어야 한다. 평가 데이터셋의 구조와 형식, 해당 데이터에 존재할 수 있는 편향을 고려한다. 또한 모델 성능을 측정하기 위한 적절한 메트릭을 식별하는 것을 고려한다. 정확도가 성능의 적절성을 완전히 반영하지 못하는 경우가 많다. |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 명확한 인시던트 요약과 컴플라이언스 보고서를 작성하고, 증거를 정리하고, 표준화된 문서를 생성하여 분석가의 워크로드를 줄이는 보고 작업을 지원한다. [고려사항] AI 모델 성능 메트릭(예: 정밀도/재현율, 드리프트율)을 FP 감소 및 적대적 견고성과 같은 보안 목표에 대해 평가하여 지속적인 보안 개선점을 식별한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 조직은 AI 기반 사이버 공격의 속도와 규모에 보조를 맞추기 위해 AI 지원 방어를 활용·구현하는 것을 고려할 수 있다. 지침은 Defend Focus Area의 기회와 고려사항을 참조한다. |
ID.IM-02: 공급자 및 관련 제3자와 협력하여 수행된 보안 테스트 및 연습을 포함한 개선점이 식별된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 레드팀 연습과 AI 모델 및 데이터의 공급자와의 조율된 테스트를 통해 공급망을 강화하여 개선점을 식별한다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 조직은 보안 테스트를 수행할 때 AI 기반 사이버 공격의 속도와 규모에 보조를 맞추기 위해 AI 지원 침투 테스트 및 레드팀 도구를 활용·구현하는 것을 고려할 수 있다. |
ID.IM-03: 운영 프로세스, 절차, 활동의 실행으로부터 개선점이 식별된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 높은 인간 오버라이드 비율, 빈번한 모델 드리프트 경고, 적대적 입력 탐지 패턴과 같은 운영 피드백을 분석하여 AI 기반 방어 시스템의 지속적인 보안 개선을 추진해야 한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
ID.IM-04: 인시던트 대응 계획 및 운영에 영향을 미치는 기타 사이버보안 계획이 수립, 전달, 유지관리, 개선된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | AI 시스템과 관련된 인시던트에는 모델이 가진 접근 범위(데이터, 도구, 네트워크)를 축소하고, 로그를 통해 문제를 식별하며, 안정적인 모델 백업을 복원하는(코드 버전 관리를 넘어 모델 버전 관리, 잠재적으로 이전 데이터셋 버전까지 포함) 특정 대응 절차가 포함된다. |
| Defend (우선순위: 3) | 인시던트 대응 계획에는 격리(예: 모델 자율성 비활성화), 분류(예: 모델 로그 분석), 복구(예: 검증된 모델 버전 복원)를 위한 AI 특화 절차가 포함된다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 이러한 계획의 개선은 AI 기반 공격의 진화와 효과적인 완화 조치 또는 취해진 조치를 반영해야 한다. 이는 PR.AT-01과 특히 PR.AT-02 관련 노력을 개선하고, 지속적 모니터링 및 이상 활동 탐지를 개선하는 데 도움이 될 수 있다. AI 기반 공격이 실행될 수 있는 속도뿐만 아니라 정교함과 기만의 속도로 인해 여기서의 업데이트가 더 역동적일 가능성이 높다. |
PROTECT (PR): 조직의 사이버보안 리스크를 관리하기 위한 보호 조치가 사용된다.
물리적·논리적 자산에 대한 접근이 인가된 사용자, 서비스, 하드웨어로 제한되고, 비인가 접근의 평가된 리스크에 상응하게 관리된다.
PR.AA-01: 인가된 사용자, 서비스, 하드웨어에 대한 신원과 자격증명이 조직에 의해 관리된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템에 고유하고 추적 가능한 신원과 자격증명을 부여하여 활동을 더 잘 추적한다. |
| Secure (우선순위: 1) | AI 시스템은 더 넓은 시스템과 상호작용하기 위해 자체 신원과 자격증명(즉, AI 서비스 수준 계정)이 필요할 수 있다. 조직은 AI 시스템과 그들의 행위 사이의 추적 가능성이 필요하다. |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 이전 규칙이 놓칠 수 있는 자격증명 오용을 비정상적 인증 활동을 표시하여 포착한다. [고려사항] 방어적 대응 활동을 지원하기 위해 AI 방어 에이전트에 고유하고 추적 가능한 신원과 자격증명을 할당하고 관리한다. |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) AI 기반 사이버 공격이 신원과 자격증명, 서비스, 하드웨어에 대한 접근 획득의 진입 장벽을 낮출 것이다. |
PR.AA-02: 신원이 상호작용의 맥락에 기반하여 검증되고 자격증명에 바인딩된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | LLM 또는 AI 에이전트는 사용자가 일반적으로 갖지 않는 데이터 소스나 도구에 접근할 수 있다. 암호 서명과 상호 인증을 사용하여 에이전트와 서비스 신원을 자격증명에 바인딩한다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | AI 서비스는 과도한 에이전시를 방지하기 위해 맥락과 시간에 바인딩되어야 한다. 악성 도구가 조직의 방어 에이전트를 모방할 수 없도록 인증서 기반 검증과 에이전트 행위의 지속적 모니터링을 요구하여 스푸핑을 방지한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI 기반 사이버 공격이 신원과 자격증명에 대한 접근 획득의 진입 장벽을 낮출 것이다. |
PR.AA-03: 사용자, 서비스, 하드웨어가 인증된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | 각 AI 에이전트에 고유한 신원과 자격증명을 할당하고 특권 사용자와 동일한 보안 예방 조치로 취급한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI 기반 사이버 공격이 접근 획득의 진입 장벽을 낮추지만, 이러한 공격을 완화하는 방법은 동일하다. |
PR.AA-04: 신원 어설션이 보호, 전달, 검증된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | 신원 어설션은 AI 구성요소가 유효하다는 보증 수단을 제공한다. 에이전트 어설션과 토큰을 서명하고 검증하면 출처에 대한 통찰을 제공하고, 예상된 에이전트만 운영되고 있는지 조직이 검증하는 것을 지원한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI 기반 사이버 공격이 접근 획득의 진입 장벽을 낮추지만, 완화 방법은 동일하다. |
PR.AA-05: 접근 권한, 자격, 인가가 정책에 정의되고, 관리·시행·검토되며, 최소 권한과 직무 분리의 원칙을 반영한다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템은 네트워크 내의 다른 유형의 엔터티와 별도로 취급되어야 하며, 자체적인 권한 및 인가 정책 세트가 필요하다. AI 에이전트에 역할을 수행하는 데 필요한 권한만 부여하여 최소 권한 원칙을 적용한다. |
| Secure (우선순위: 1) | AI 시스템은 복잡하고 예측 불가능한 방식으로 상호작용할 수 있으므로, 권한과 인가를 관리하기 위한 새로운 정책 세트가 필요할 수 있다. |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 비정상적 인증 활동을 표시하여 이전 규칙이 놓칠 수 있는 자격증명 오용을 포착한다. [고려사항] 다른 유형의 특권 계정과 마찬가지로 시간이 지남에 따라 AI 에이전트 권한을 관리(예: 정기 검토 및 업데이트)하는 프로세스를 수립한다. |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) 확장 가능한 무차별 대입 공격과 같은 방법을 통해 자격증명, 접근 키/토큰 등을 획득하려는 AI 기반 사이버 공격을 방지하기 위해 접근 제어 및 인가에 대한 강력한 정책을 유지한다. |
PR.AA-06: 자산에 대한 물리적 접근이 리스크에 상응하게 관리, 모니터링, 시행된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | 데이터 센터와 GPU 랙의 비인가 접근, 변조, 침입을 탐지하기 위한 컴퓨터 비전 사용과 같이 물리적 방어 역량을 강화하기 위해 AI 지원 시스템을 활용한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
조직의 인력이 사이버보안 관련 작업을 수행할 수 있는 지식과 기술을 갖추도록 사이버보안 인식 및 교육이 제공된다.
PR.AT-01: 인력에게 사이버보안 리스크를 염두에 두고 일반 작업을 수행할 수 있는 지식과 기술을 갖추도록 인식 및 교육이 제공된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 인력은 빠르게 진화하고 때때로 예측 불가능한 출력을 내놓는 AI 시스템의 결과를 다룰 수 있도록 적절히 교육받아야 한다. 이 교육은 AI 기술의 발전 속도에 맞추어 빈번하게 업데이트되고 재시행되어야 한다. |
| Secure (우선순위: 1) | AI는 이전에 볼 수 없었던 사이버보안 환경에 새로운 차원을 제시한다. 인력은 모델 한계, 적대적 입력, 개념 드리프트와 같은 새로운 고려사항과 이들이 특정 맥락에 어떻게 적용되는지를 인식해야 한다. |
| Defend (우선순위: 1) | AI 사용은 할루시네이션과 혼동(confabulation)과 같은 정보 정확성에 대한 리스크를 제시한다. 분석가가 에이전트를 모니터링하고, 행동하기 전에 할루시네이션, 편향, 조작된 응답, 기타 잠재적 문제를 발견하기 위해 AI 출력을 평가하는 방법을 교육한다. |
| Thwart (우선순위: 1) | AI는 이전에 볼 수 없었던 사이버보안 위협 환경에 새로운 차원을 제시한다. 인력은 스피어 피싱과 소셜 엔지니어링 전술·기법을 활용하는 것과 같은 새롭고 신흥하는 AI 기반 위협에 대한 인식과 교육에 접근할 수 있어야 한다. |
PR.AT-02: 전문 역할의 개인에게 사이버보안 리스크를 염두에 두고 관련 작업을 수행할 수 있는 지식과 기술을 갖추도록 인식 및 교육이 제공된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템의 사용이나 AI 기반 공격에 대한 보호를 담당하는 전문 역할은 사이버보안과 AI 특화 위협 및 관련 완화 전략 모두를 인식한다. |
| Secure (우선순위: 2) | AI 시스템 보호를 담당하는 인력은 조직의 맥락에 적용 가능한 사이버보안 및 AI 특화 고려사항 모두를 인식해야 한다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 방어를 테스트하고 대응 기술을 연습·개선하는 데 도움이 되는 현실적인 공격 시뮬레이션과 피싱 시나리오를 생성한다. [고려사항] 레드팀 및 인력 교육은 AI 기반 방어 조치, 적대적 ML, 프롬프트 인젝션, 모델 드리프트, AI 포렌식을 다루어, 조직의 요구와 리스크 허용 범위에 부합하는 AI 기반 방어 조치 사용에 대한 기술과 지식 구축을 지원해야 한다. |
| Thwart (우선순위: 1) | AI는 사이버보안 위협 환경에 새로운 차원을 제시한다. 인력은 스피어 피싱 및 소셜 엔지니어링 전술·기법을 활용하는 것과 같은 새롭고 신흥하는 AI 기반 위협에 대한 교육과 정보에 접근할 수 있어야 한다. AI 기반 피싱, 소셜 엔지니어링, 챗봇 사용에 대한 최신 교육이 사이버보안 인시던트를 저지하는 데 핵심적이다. 전문 역할의 인력(예: 인시던트 대응)은 AI 기반 공격을 인식하고 검증하기 위한 추가 교육이 필요하다. 효과적인 탐지, 대응, 복구 노력을 촉진하기 위한 모델링 및 시뮬레이션 시나리오도 개발될 필요가 있을 수 있다. |
데이터가 조직의 리스크 전략에 부합하게 관리되어 정보의 기밀성, 무결성, 가용성을 보호한다.
PR.DS-01: 저장 데이터(data-at-rest)의 기밀성, 무결성, 가용성이 보호된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 데이터는 많은 AI 시스템의 기능에 핵심적이다. AI 특화 기밀성, 무결성, 가용성 우려의 예로는 가용성 포이즈닝 및 가용성 붕괴, 무결성 포이즈닝, 기밀성 유출 및 손상(프라이버시 문제를 초래할 수도 있음)이 포함된다. 데이터가 손상되면 ML 모델은 더 이상 해당 데이터로 학습하지 않을 것이다. 데이터가 변조되면 모델은 제대로 학습하지 못할 것이다. 이러한 고려사항은 AI에 가장 중요하지만, 이를 방지하기 위해 조직이 사용할 수 있는 완화 조치는 다른 유형의 소프트웨어 암호화 및 데이터 백업과 동일하다. |
| Secure (우선순위: 1) | 표준 사이버보안 관행이 적용됨. (근거) 일반 고려사항 참조. |
| Defend (우선순위: 1) | 정확하고, 확장되고, 빠른 방어 운영을 가능하게 하려면 신뢰할 수 있는 데이터가 필요하다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) 일반 고려사항 참조. |
PR.DS-02: 전송 데이터(data-in-transit)의 기밀성, 무결성, 가용성이 보호된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 특화 기밀성, 무결성, 가용성 우려의 예로는 가용성 포이즈닝 및 가용성 붕괴, 무결성 포이즈닝, 기밀성 유출 및 손상이 포함된다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
PR.DS-10: 사용 중 데이터(data-in-use)의 기밀성, 무결성, 가용성이 보호된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 접근 권한이 있는 민감 데이터를 유출할 가능성이 항상 있다. 일반적으로 AI 모델은 학습 데이터 및 추론 시 접근 가능한 데이터와 동일한 수준의 민감도를 갖는다. |
| Secure (우선순위: 1) | AI가 사용하고 사용자와 공유하는 정보를 항상 세밀하게 통제할 수는 없다. 예를 들어 SQL 서버에 연결된 정보 검색 서비스와 AI를 사용한 의미적 검색 서비스를 비교하면, 검색 서비스의 경우 가져오고 공유하는 정보를 세밀하게 통제할 수 있지만, 의미적 시스템에서는 쿼리가 의미에 기반하므로 어떤 데이터가 공유되는지 통제하기가 더 어렵다. |
| Defend (우선순위: 1) | AI 프롬프트 및 기능에서 민감 데이터 사용을 최소화하고, 런타임 삭제 및 가드레일의 사용을 구현한다. 출력 필터링, 패턴 탐지, 접근 제어를 구현하여 데이터 유출을 방지한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
PR.DS-11: 데이터 백업이 생성, 보호, 유지관리, 테스트된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 데이터 포이즈닝이나 모델 손상으로부터의 빠른 복구를 보장하기 위해, 검증된 모델 버전, 깨끗한 학습 데이터셋, 구성 파일을 포함한 핵심 AI 자산의 보호되고 정기적으로 테스트되는 백업을 유지관리한다. |
| Defend (우선순위: 3) | 데이터 포이즈닝이나 모델 손상으로부터의 빠른 복구를 보장하기 위해, 검증된 모델 버전, 깨끗한 학습 데이터셋, 구성 파일을 포함한 핵심 AI 자산의 보호되고 정기적으로 테스트되는 백업을 유지관리한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
물리적·가상 플랫폼의 하드웨어, 소프트웨어(예: 펌웨어, 운영체제, 애플리케이션), 서비스가 조직의 리스크 전략에 부합하게 관리되어 기밀성, 무결성, 가용성을 보호한다.
PR.PS-01: 구성 관리 관행이 수립되고 적용된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템에 대한 하이퍼파라미터 구성은 시스템 기능에 핵심적이다. 이러한 구성 값은 소프트웨어 자체에 부여되는 것과 동일한 수준의 검토로 추적, 버전 관리, 관리된다. |
| Secure (우선순위: 1) | AI의 성능은 구성 설정과 밀접하게 연결되어 있다. AI를 더 넓은 시스템에 추가할 때, 이러한 추가 설정도 추적하고 관리한다. |
| Defend (우선순위: 1) | 모델 구성, 프롬프트, 임계값, 가드레일 규칙의 버전 관리 및 추적과 같은 AI 모델 구성 관리 관행을 수립하고 적용한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
PR.PS-02: 소프트웨어가 리스크에 상응하게 유지관리, 교체, 제거된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 프레임워크 및 소프트웨어 라이브러리에 대한 패치를 정기적으로 확인하고 적용하여, 조직을 방어하고 공격이 발생하기 전에 방지한다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 공격 중 악용될 수 있는 취약점을 차단하기 위해 AI 프레임워크와 라이브러리에 대한 패치를 정기적으로 확인하고 적용한다. |
| Thwart (우선순위: 1) | 보안이 확보되지 않았거나, 테스트되지 않았거나, 유지관리되지 않는 코드가 AI 기반 사이버 공격의 표적이 될 수 있다. 리스크 임계값을 유지하기 위한 추가 코드 스캔 및 교체가 취약점 관리에 따라 수립된다. 수명주기를 통한 소프트웨어 유지관리 절차를 따른다. |
PR.PS-03: 하드웨어가 리스크에 상응하게 유지관리, 교체, 제거된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 새로운 하드웨어 세트(가속 컴퓨팅)에 대한 수요를 도입한다. 이 새로운 하드웨어가 공격 노출을 최소화하도록 정기적으로 테스트, 유지관리, 업데이트되도록 보장한다. |
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | 하드웨어 가속기의 펌웨어와 드라이버를 빈번하게 업데이트한다. |
| Thwart (우선순위: 1) | 보안이 확보되지 않았거나, 테스트되지 않았거나, 유지관리되지 않는 사이버 물리적 하드웨어와 시스템이 AI 기반 공격의 표적이 될 수 있으며, 리스크 임계값을 유지하기 위한 추가 하드웨어 스캔 및 교체가 수립된다. |
PR.PS-04: 로그 기록이 생성되고 지속적 모니터링을 위해 제공된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 모든 Focus Area에 걸쳐 새로운 별개의 고려사항을 도입한다. |
| Secure (우선순위: 1) | AI는 시스템의 완전한 그림을 갖기 위해 로깅되어야 하는 새로운 메트릭과 파라미터 세트를 제시한다. 예를 들어, 탐지 임계값 및 기타 추론 시간 파라미터. |
| Defend (우선순위: 1) | [Sample Opportunities] AI를 활용하여 비정상적 이벤트에 대해 로그를 자동으로 분석·스캔한다. AI를 활용하여 여러 소스의 정보를 종합한다. 로그는 요청 데이터, 응답 데이터, 응답이 정책과 일치하는지 여부를 보여야 한다. [고려사항] HITL 검토로 발견 결과를 확인한다. 로그를 변조로부터 보호하는 것을 고려한다. |
| Thwart (우선순위: 1) | AI 기반 공격이 사이버보안 탐지 및 모니터링 시스템에 도전할 수 있는 규모와 속도 — 탐지 및 방어를 위한 AI 기반 전술과 기법의 새로운 패턴을 식별하기 위해 지속적 모니터링과 로깅이 필요하다. |
PR.PS-05: 비인가 소프트웨어의 설치와 실행이 방지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 어떤 시스템에서도 코드의 자동 다운로드나 실행을 허용하지 않는다. 모든 소프트웨어가 멀웨어에 대해 스캔되고 소프트웨어의 소스가 적절히 검증되도록 보장한다. |
| Secure (우선순위: 2) | AI 에이전트 시스템은 때때로 임의 코드를 실행하도록 허용된다. 대부분의 애플리케이션에서 이 능력은 제한, 샌드박스화, 승인 및 모니터링의 대상이 되거나, 완전히 불허되어야 한다. |
| Defend (우선순위: 2) | 비승인 모델 다운로드나 도움이 되는 에이전트 스크립트를 차단하여, 검증되고 인가된 구성요소만 AI 방어 환경에 통합되도록 보장한다. |
| Thwart (우선순위: 1) | 비인가되고 스캔되지 않은 코드는 악성 AI 기반 패키지와 멀웨어가 시스템에 도입될 수 있는 한 가지 방법이다. 시스템의 다른 자산에 접근할 수 있는 프로덕션 시스템에 소프트웨어를 다운로드하고 설치하는 것에 대한 엄격한 지침을 유지한다. |
PR.PS-06: 안전한 소프트웨어 개발 관행이 통합되고, 소프트웨어 개발 수명주기 전반에 걸쳐 성능이 모니터링된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 일반적인 소프트웨어 개발을 넘어서는 새로운 보안 메트릭 세트를 도입한다. 이러한 메트릭은 조직이 추적하는 다른 보안 메트릭에 고려되고 추가된다. |
| Secure (우선순위: 2) | AI는 반복성, 특정 입력에 대한 잠재적 편향, 불확실성에 직면한 모델 출력의 비상 대책과 같은 새로운 성능 고려사항 세트를 제시한다. |
| Defend (우선순위: 2) | 프롬프트 테스트, 적대적 테스트, 평가 게이트를 구현하여 안전한 소프트웨어 개발 관행으로 AI 점검을 확장한다. 성능 모니터링 중 안전성이나 품질이 떨어지면 배포를 차단한다. AI 기반 취약점 스캐닝 도구에서 얻은 통찰을 적용하여 AI 시스템을 보안하고 AI 기반 공격을 저지한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨 |
보안 아키텍처가 조직의 리스크 전략에 따라 관리되어 자산의 기밀성, 무결성, 가용성과 조직의 복원력을 보호한다.
PR.IR-01: 네트워크와 환경이 비인가 논리적 접근 및 사용으로부터 보호된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI가 네트워크 내의 새로운 네트워크나 시스템에 접근하는 능력은 AI 시스템의 기능과 조직이 감수할 리스크 수준에 상응하게 제한되어야 한다. |
| Secure (우선순위: 2) | AI는 에이전트로서 이전에 볼 수 없었던 방식(사람 및 고전적으로 제어되는 봇)과 다르게 네트워크와 환경에 접근을 시도할 수 있다. AI 에이전트의 네트워크와 환경에 대한 접근은 최소 권한 원칙과 조직의 리스크 전략에 따라 제한되어야 한다. |
| Defend (우선순위: 2) | 인간 승인이나 정책 기반 점검을 구현하여 AI가 시작하는 네트워크 변경과 권한 사용을 통제한다. |
| Thwart (우선순위: 1) | AI 기반 공격이 네트워크 및 비인가 접근과 사용에 대한 접근 획득의 진입 장벽을 낮출 것이다. 방어는 엔드포인트 탐지 시스템과 MFA 및 제로 트러스트 아키텍처와 같은 자격증명 및 신원 관리를 위한 추가 보안 계층을 우선시해야 한다. |
PR.IR-02: 조직의 기술 자산이 환경적 위협으로부터 보호된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 2) | AI 기반 공격은 물리적 자산(예: 운영 기술)에 영향을 미칠 수 있다. |
PR.IR-03: 정상 및 역경 상황에서 복원력 요구사항을 달성하는 메커니즘이 구현된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 백업, 모델 강화, 앙상블 방법, 자동 페일오버를 포함하나 이에 국한되지 않는 AI 모델의 복원력을 높이는 다양한 시스템이 존재한다. 각 시스템은 이해되는 자체 한계가 있다. 이러한 한계가 적절한 구현에 참고된다. |
| Secure (우선순위: 2) | AI 장애 시 백업 시스템을 생성하거나 데이터를 재생성하기 어려울 수 있다. 모델에 문제가 식별되고 해당 문제가 이전 모델에도 존재하는 경우(예: 적대적 입력에 취약), 새로 발견된 문제에 강건한 새 모델을 만들고 배포하는 것이 사소하지 않을 수 있다. |
| Defend (우선순위: 1) | 역경 이벤트 중 지속적인 방어 운영을 보장하기 위해 모델 강화(예: 적대적 학습), 앙상블 방법, 신뢰할 수 있는 모델 버전으로의 자동 페일오버와 같은 AI 특화 복원력 메커니즘을 구현한다. |
| Thwart (우선순위: 2) | AI 기반 사이버 공격의 속도와 규모는 복원력 통제 구현의 중요성을 높인다. |
PR.IR-04: 가용성을 보장하기 위한 적절한 자원 용량이 유지된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI, 특히 딥 뉴럴 네트워크는 일상적으로 수행되는 가장 집중적인 계산 워크로드 중 일부가 될 수 있다. 제한된 자원으로 더 많은 것을 얻기 위한 여러 전략(부하 분산, 큐, 병렬 처리 등)이 사용될 수 있지만, 핵심 애플리케이션의 경우 이러한 전략 모두에 단점이 있으며, 높은 가용성과 낮은 대기 시간 응답이 필요한 애플리케이션에 전용 컴퓨팅 인프라를 보유하는 것이 적절하다. |
| Secure (우선순위: 2) | 워크로드가 다른 비AI 컴퓨팅 워크로드보다 수 배의 자원을 소비할 수 있으므로, 조직은 AI 자원 요구를 고려한다. |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 방어 준비태세에 영향을 미칠 수 있는 하드웨어 장애와 시스템 성능 저하를 예측한다. [고려사항] AI 워크로드의 자원 집약적 특성으로 인해, 인시던트 중 AI 방어 조치를 위한 컴퓨팅을 예약한다. |
| Thwart (우선순위: 2) | AI 기반 공격은 해당 공격이 발생했거나 발생하고 있는지 적절히 탐지하는 데 필요한 자원을 증가시킬 수 있다. 이는 특히 AI가 사이버 방어 역량에 구현된 경우 중요하다. 추가 고려사항은 Defend 참조. |
DETECT (DE): 가능한 사이버보안 공격과 손상이 발견되고 분석된다.
자산이 이상, 침해 지표, 기타 잠재적으로 부정적인 이벤트를 찾기 위해 모니터링된다.
DE.CM-01: 네트워크와 네트워크 서비스가 잠재적으로 부정적인 이벤트를 찾기 위해 모니터링된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 애플리케이션을 보안하고 조직을 방어하기 위해 AI를 사용할 때 새로운 별개의 고려사항을 도입한다. |
| Secure (우선순위: 2) | AI 시스템 트래픽은 다른 네트워크 트래픽과 별도로 추적, 로깅, 모니터링되어야 한다. 부정적 이벤트가 발생하면, 소스가 인간이 시작한 것인지 AI가 시작한 것인지 쉽게 식별할 수 있다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 이상을 표시하고, 의심스러운 행동을 상관관계 분석하며, 인간과 다른 자동화 도구보다 빠르게 비정상적 패턴을 발견하여 모니터링을 개선하고 위협 탐지를 강화한다. AI 에이전트가 개별적으로 또는 팀으로 네트워크를 모니터링하고, 방어 조치를 검증하며, 인간 워크로드를 줄이면서 탐지 정확도를 개선할 수 있다. AI를 활용하여 잠재적으로 부정적인 이벤트 탐지를 지원하기 위해 네트워크 트래픽을 자동으로 추적·모니터링한다(예: nmap 스캔 수행). 새로운 모니터링 및 분석 역량(예: 사용자 및 기계 행위 분석, 실시간 모니터링 및 대응)을 활용하고, 반응적 방어 모드에서 선제적(예: 예측 분석)으로 전환하는 것을 지원하는 AI 역량을 식별한다. [고려사항] 시간이 지남에 따라 지속적인 효과를 위해 에이전트를 모니터링하고 관리한다. |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 참조. |
DE.CM-02: 물리적 환경이 잠재적으로 부정적인 이벤트를 찾기 위해 모니터링된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | AI 시스템은 종종 GPU 클러스터나 공유 랙에 위치한다. 이러한 속성을 변조하면 방어가 비활성화될 수 있으므로, 전력, 열, 물리적 접근을 모니터링한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
DE.CM-03: 인력 활동과 기술 사용이 잠재적으로 부정적인 이벤트를 찾기 위해 모니터링된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 부정적 이벤트나 민감 데이터 공유를 찾기 위해 내부 및 외부 AI 도구의 인력 사용을 모니터링해야 한다. |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 일반 쿼리를 처리하고 경고 요약을 생성하며 문제를 올바른 분석가에게 라우팅하여 분석가의 문제 해결을 지원한다. AI 에이전트가 개별적으로 또는 팀으로 네트워크를 모니터링하고, 방어 조치를 검증하며, 인간 워크로드를 줄이면서 탐지 정확도를 개선할 수 있다. AI가 비정상적 인증 활동을 표시하여 규칙이 놓칠 수 있는 자격증명 오용을 포착한다. [고려사항] 표준 사이버보안 관행이 적용됨. |
| Thwart (우선순위: 2) | 인력이 시스템에 멀웨어를 도입할 수 있는 AI 기반 피싱이나 딥페이크 공격의 대상이 될 수 있다. |
DE.CM-06: 외부 서비스 제공자 활동 및 서비스가 잠재적으로 부정적인 이벤트를 찾기 위해 모니터링된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 일부 AI 애플리케이션은 제3자 서비스에 의존할 수 있다. 로깅을 사용하여 요청, 응답, 메타데이터, 관련 메트릭을 표시한다. |
| Secure (우선순위: 1) | 많은 조직이 AI 서비스를 위해 외부 서비스 제공자에 의존하고 있다. 이로 인해 외부 서비스 제공자 모니터링의 중요성은 높게 유지된다. 이러한 서비스 제공자를 모니터링하는 방법은 동일하므로 AI 특화 고려사항은 없다. |
| Defend (우선순위: 2) | 많은 방어 도구가 제3자 AI API를 호출한다. 이러한 API는 잠재적으로 부정적인 이벤트를 식별하기 위해 모니터링되어야 한다. |
| Thwart (우선순위: 2) | 제3자 서비스와 제공자는 소프트웨어 및 시스템에 대한 업데이트 및/또는 패치와 함께 AI 기반 사이버 공격이 식별하고 악용할 수 있는 새로운 취약점을 도입할 수 있다. 또한 제3자 제공자 수가 증가할수록, 적절한 관리와 모니터링 서비스 및 활동 없이는 AI 기반 사이버 공격이 활용할 수 있는 위협 환경이 더 커진다. |
DE.CM-09: 컴퓨팅 하드웨어와 소프트웨어, 런타임 환경, 그 데이터가 잠재적으로 부정적인 이벤트를 찾기 위해 모니터링된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI가 자율적으로 운영될 수 있으므로, 모든 내부 AI 시스템이 비정상적 활동에 대해 적절히 모니터링되도록 보장한다. |
| Secure (우선순위: 1) | AI가 자율적으로 데이터를 생성·증강하고 자체 코드를 생성·실행할 수 있으므로, AI가 취한 행동을 추적하기 위한 새로운 모니터링이 필요하다. 적대적 입력이나 비정상적 AI 시스템 행위와 같은 부정적 이벤트를 탐지하기 위해 AI 시스템의 입력과 출력을 모니터링할 수 있다. 인간이 시작한 AI 활동에 대해서는 표준 사이버보안 관행이 적용됨. |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 이상을 표시하고, 의심스러운 행동을 상관관계 분석하며, 인간과 다른 자동화 도구보다 빠르게 비정상적 패턴을 발견하여 모니터링을 개선하고 위협 탐지를 강화한다. AI 에이전트 팀이 네트워크를 모니터링하고, 방어 조치를 검증하며, 인간 워크로드를 줄이면서 탐지 정확도를 개선한다. [고려사항] 적대적 조작, 데이터 유출, 모델 악용을 나타낼 수 있는 비정상적 행위(예: 예상치 못한 파일 쓰기, API 호출, 생성된 바이너리)에 대해 AI 시스템과 그 런타임 환경을 모니터링한다. |
| Thwart (우선순위: 2) | AI 기반 사이버 공격은 목표 달성을 위해 로컬 컴퓨팅 자원을 활용할 수 있다. 비정상적 및/또는 부정적 이벤트에 대해 자원과 런타임 환경을 모니터링한다. |
이상, 침해 지표, 기타 잠재적으로 부정적인 이벤트가 이벤트를 특성화하고 사이버보안 인시던트를 탐지하기 위해 분석된다.
DE.AE-02: 잠재적으로 부정적인 이벤트가 관련 활동을 더 잘 이해하기 위해 분석된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 적대적 입력 사례와 같이 AI 시스템에 영향을 미치는 잠재적으로 부정적인 이벤트가 이벤트와 관련 활동을 특성화하기 위해 분석된다. |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 이상을 표시하고, 의심스러운 행동을 상관관계 분석하며 빠르게 비정상적 패턴을 발견하여 모니터링과 위협 탐지를 강화한다. AI가 일반 쿼리를 처리하고 경고 요약을 생성하며 문제를 올바른 분석가에게 라우팅하여 분석가의 문제 해결을 지원한다. [고려사항] 잠재적으로 부정적인 이벤트를 분석할 때, AI 방어 조치를 보완하고 노이즈 추적을 피하기 위해 인간 검토가 필요하다. |
| Thwart (우선순위: 2) | 잠재적으로 부정적인 이벤트에서 AI 사용의 지표를 분석하면 잠재적 AI 기반 위협을 이해하는 데 도움이 될 수 있다. 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 참조. |
DE.AE-03: 여러 소스의 정보가 상관관계 분석된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 이상을 표시하고, 의심스러운 행동을 상관관계 분석하며, 인간과 다른 자동화 도구보다 빠르게 비정상적 패턴을 발견하여 모니터링과 위협 탐지를 강화한다. AI 에이전트 팀이 네트워크를 모니터링하고, 방어 조치를 검증하며, 인간 워크로드를 줄이면서 탐지 정확도를 개선한다. [고려사항] 여러 로그 소스의 데이터 집계는 비정상적이고 잠재적으로 부정적인 이벤트를 탐지하는 데 AI 사이버 방어를 강화한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨 |
DE.AE-04: 부정적 이벤트의 예상 영향과 범위가 이해된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 1) | 범위 추정치는 정확성을 위해 인간 검토와 함께 기본 진실 데이터와 교차 확인되어야 한다. |
| Thwart (우선순위: 2) | AI 기반 사이버 공격의 잠재적 범위와 규모를 이해하면 조직이 예방 및 복원력 조치를 구현하는 데 더 유리한 위치에 놓인다. |
DE.AE-06: 부정적 이벤트에 대한 정보가 인가된 직원과 도구에 제공된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | 맥락과 신뢰도 점수를 포함하여 부정적 이벤트와 관련된 AI 발견 결과를 설명하고 공유한다. |
| Thwart (우선순위: 1) | AI 기반 사이버 공격은 제3자 제공자와 도구 외에도 여러 보안 및 소프트웨어 팀에 영향을 미칠 수 있다. 우선순위 설정과 범위 설정된 복구를 지원하기 위해 모든 팀이 부정적 이벤트를 인식해야 한다. |
DE.AE-07: 사이버 위협 인텔리전스 및 기타 맥락 정보가 분석에 통합된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 대규모 데이터셋을 스캔하고 대량의 위협 인텔리전스를 빠르게 분석하여 방어자에게 위협 환경에 대한 명확한 관점을 제공한다. AI가 표준 프로토콜(STIX, OpenCTI 등)을 사용하여 위협 인텔리전스를 수집, 포맷, 공유하여 팀과 파트너가 정렬된 상태를 유지하도록 한다. [고려사항] 적대적 ML 연구와 AI 레드팀 보고서를 탐지 파이프라인에 공급하여 탐지 역량을 강화하고 대응 및 복구 노력을 지원한다. |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 참조. |
DE.AE-08: 부정적 이벤트가 정의된 인시던트 기준을 충족할 때 인시던트가 선언된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 2) | AI 기반 사이버 공격을 선언하기 위한 설명 가능한 에스컬레이션 기준을 조정하고 유지한다. |
RESPOND (RS): 탐지된 사이버보안 인시던트에 대한 조치가 취해진다.
탐지된 사이버보안 인시던트에 대한 대응이 관리된다.
RS.MA-01: 인시던트가 선언되면 관련 제3자와 협력하여 인시던트 대응 계획이 실행된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 제3자 서비스 및 데이터 제공자와 소통한다. |
| Secure (우선순위: 2) | AI 서비스를 위해 제3자를 사용하는 경우, 적절한 인시던트 대응 활동이 수행되고 당사자 간에 적절히 조율되도록 인시던트에 대응할 때 해당 당사자와 협력하는 것이 적절할 수 있다. 데이터 유출 관련 인시던트는 데이터의 특성에 따라 추가 고려사항이 있을 수 있다(예: 개인의 프라이버시에 영향을 미칠 수 있는 정보 유출은 다양한 프라이버시 법률 및 규정에 따른 침해 통지 요구사항을 트리거할 수 있다). |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 분류 및 격리 단계 권고와 같은 인시던트 대응을 자동화하여 팀이 인시던트 중 더 빠르고 더 큰 확신으로 움직일 수 있도록 지원한다. [고려사항] 방어적 AI 조치가 외부 API나 데이터셋에 의존하는 경우, 인시던트 중 해당 제공자와 협력한다. |
| Thwart (우선순위: 2) | AI 기반 공격이 발생하는 속도와 규모는 관련 제3자와의 더 신속한 대응과 조율을 요구한다. |
RS.MA-02: 인시던트 보고서가 분류되고 검증된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 관련 보고서와 AI 관련 활동은 다른 활동/보고서와 다르게 분류되어야 한다. |
| Secure (우선순위: 2) | AI는 새로운 위협 벡터와 공격 방법을 제시한다. AI 관련 인시던트를 분류하고 검증하기 위한 기준을 수립한다. |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 분류 및 격리 단계 권고와 같은 인시던트 대응을 자동화하여 팀이 더 빠르고 더 큰 확신으로 움직일 수 있도록 지원한다. [고려사항] 인시던트 보고서는 인시던트 대응 중 AI 기반 사이버 방어 조치의 잠재적 사용을 반영하도록 업데이트되어야 한다. 적절한 조치가 취해지도록 보장하기 위해 프로세스에 인간 검토와 검증이 포함된다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. AI 기반 방어가 인시던트 데이터 수집, 편집, 검증, 보고서 제공과 같은 인시던트 대응 파이프라인에 통합된 경우 Defend Focus Area 고려사항에서 추가 지침 참조. |
RS.MA-03: 인시던트가 분류되고 우선순위가 정해진다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI는 애플리케이션을 보안하고 조직을 방어하기 위해 AI를 사용할 때 새로운 별개의 고려사항을 도입한다. |
| Secure (우선순위: 2) | AI가 새로운 위협 벡터와 공격 방법을 제시하므로, 이 추가 차원을 포착하는 인시던트에 대한 새로운 분류가 생성되어야 한다. |
| Defend (우선순위: 1) | AI 기반 분석을 인시던트 분류 및 우선순위 설정에 통합하여 AI 영향 이벤트(예: 적대적 공격, 데이터 포이즈닝)를 실시간으로 식별하고 표시한다. |
| Thwart (우선순위: 1) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend Focus Area 고려사항 참조. |
RS.MA-04: 인시던트가 필요에 따라 에스컬레이션되거나 격상된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 인시던트의 에스컬레이션 또는 격상 시기에 대한 의사결정을 촉진할 수 있다. [고려사항] AI 인시던트 분류 결과를 검토한다. AI가 인시던트를 잘못 분류하거나 영향을 부정확하게 증폭시키는 경우, 이를 조기에 표시하고 인간 분석가에게 에스컬레이션한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI 기반 방어와 함께 부정적 행위와 이벤트를 추가 검토를 위해 표시하는 시스템 차단 및/또는 격리와 같은 자동화된 조치를 구현한다. |
RS.MA-05: 인시던트 복구 시작을 위한 기준이 적용된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | 복구에는 AI 모듈의 재학습이나 비활성화가 포함될 수 있다. AI 구성요소를 롤백해야 하는 시점에 대한 트리거를 정의한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. 시스템을 식별하고 복원하는 데 도움이 되는 AI 구현과 같은 추가 지침은 Defend 참조. |
효과적인 대응을 보장하고 포렌식 및 복구 활동을 지원하기 위해 조사가 수행된다.
RS.AN-03: 인시던트 중 발생한 일과 인시던트의 근본 원인을 파악하기 위한 분석이 수행된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 시스템 공격과 AI 시스템 방어의 전체적 그림을 포착하기 위해 새로운 분석 도구가 필요할 수 있다. |
| Secure (우선순위: 1) | 적대적 입력과 같은 AI에 대한 더 복잡한 공격을 진단하기 위해 새로운 전문 지식, 도구, 방법이 필요할 수 있다. |
| Defend (우선순위: 1) | 인시던트 중 근본 원인을 파악하기 위해 AI 특화 아티팩트(예: 모델 로그, 추론 테이블, 출처 데이터)를 분석한다. |
| Thwart (우선순위: 1) | 인시던트 분석은 인시던트에서 적대 세력의 AI 사용 지표를 명시적으로 검색한다. AI 기반 공격은 속도와 규모, 동적이고 최적화된 특성으로 인해 고유한 지표나 시그니처를 가질 수 있다. 적대 세력의 AI 사용은 빠르게 진화하고 있으며, 조직은 인시던트에서 AI가 사용되었는지/어떻게 사용되었는지 판단하기 위해 사이버 위협 인텔리전스를 면밀히 추적해야 할 수 있다. |
RS.AN-06: 조사 중 수행된 조치가 기록되고, 기록의 무결성과 출처가 보존된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 1) | 인시던트 대응 활동과 발견 결과는 복원력 구축과 전반적인 개선 노력을 지원하는 향후 노력에 참고된다(ID.IM-04 참조). |
RS.AN-07: 인시던트 데이터와 메타데이터가 수집되고, 무결성과 출처가 보존된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI로 인해 새로운 유형의 메타데이터(예: 데이터 버전, 입력, 하이퍼파라미터) 포착이 필요할 수 있다. |
| Secure (우선순위: 1) | AI는 데이터셋 추적 및 버전 관리와 하이퍼파라미터와 같은 모델 관련 메타데이터 문서화의 필요성을 도입했다. 모델을 학습시키는 데 사용된 파라미터, 학습 시점, 사용된 데이터셋 버전도 관련이 있다. |
| Defend (우선순위: 2) | AI 시스템의 로그, 입력, 출력, 의사결정 체인을 보존하여 출처를 보장하고 향후 AI 기반 대응 조치를 개선한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 고려사항 참조. |
RS.AN-08: 인시던트의 규모가 추정되고 검증된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 모델 무결성에 대한 적대적 영향의 범위, 노출된 민감 데이터(예: 학습 데이터 유출)의 양, 모델 가용성 손실 기간을 평가하여 AI 영향 인시던트의 규모를 추정하고 검증한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. 실제 인시던트의 규모를 이해하면 향후 복원력 조치 구현의 우선순위에 참고된다. 추가 지침은 Defend 고려사항 참조. |
대응 활동이 법률, 규정, 정책에서 요구하는 대로 내부 및 외부 이해관계자와 조율된다.
RS.CO-02: 내부 및 외부 이해관계자에게 인시던트가 통보된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | AI 관련 인시던트(예: 적대적 공격, 예상치 못한 모델 장애)에 대한 통보 프로세스가 수립되어, 내부 팀과 외부 공급자에게 손상된 모델이나 데이터와 같은 인시던트를 신속히 알린다. 인시던트 통보를 자율적으로 전달할 수 있는 시점과 인간 검토가 먼저 필요한 시점을 결정하는 기준을 수립한다(예: 법적 또는 컴플라이언스 시사점이 있을 수 있는 인시던트에 대한 통보는 발송 전 인간 검토가 필요할 수 있다). |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
RS.CO-03: 정보가 지정된 내부 및 외부 이해관계자와 공유된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 명확한 인시던트 요약과 컴플라이언스 보고서를 작성하고, 증거를 정리하고, 표준화된 문서를 생성하여 분석가의 워크로드를 줄이는 보고 작업을 지원한다. AI가 표준 프로토콜(STIX, OpenCTI 등)을 사용하여 위협 인텔리전스를 포맷하고 공유한다. AI가 기술적 리스크를 간결한 인사이트로 요약하여 경영진이 정보에 입각한 리스크 결정을 내리도록 지원한다. [고려사항] 조율된 방어 강화를 위해 AI 특화 위협 인텔리전스와 인시던트 메트릭(예: 적대적 입력)을 내부 개발자 및 외부 파트너와 공유하기 위한 프로토콜을 수립한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
이벤트의 확장을 방지하고 그 효과를 완화하기 위한 활동이 수행된다.
RS.MI-01: 인시던트가 격리된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 2) | 표준 사이버보안 관행이 적용됨. (근거) AI가 시작한 인시던트는 인간보다 빠른 속도로 진행될 수 있으므로, 이러한 인시던트를 격리하는 것의 중요성이 높아진다. 그러나 이러한 인시던트를 격리하는 방법은 동일하다. |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 분류 및 격리 단계 권고와 같은 인시던트 대응을 자동화하여 팀이 인시던트 중 더 빠르게 움직일 수 있도록 지원한다. [고려사항] 격리 절차에는 손상된 AI 에이전트의 자율성/권한을 검증된 신뢰할 수 있는 상태로 신속히 비활성화하는 것과 같은 AI 특화 단계가 포함된다. |
| Thwart (우선순위: 2) | AI 기반 사이버 공격은 탐지를 피하기 위해 적응하거나 탐지를 어렵게 만드는 공격 패턴을 생성할 수 있다 — AI 기반 공격이 시스템 내에서 확산되지 않도록 시스템을 차단 및/또는 격리하는 완화 조치를 활용한다. 추가 지침은 Defend 고려사항 참조. |
RS.MI-02: 인시던트가 근절된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 분류 및 격리 단계 권고와 같은 인시던트 대응을 자동화하여 팀이 인시던트 중 더 빠르게 움직일 수 있도록 지원한다. [고려사항] 근절은 오염된 학습 데이터, 취약한 AI 라이브러리 패치, 적대적 도구의 접근 완전 취소를 포함한 AI 기반 손상의 근본 원인을 다룬다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
RECOVER (RC): 사이버보안 인시던트의 영향을 받은 자산과 운영이 복구된다.
사이버보안 인시던트의 영향을 받은 시스템과 서비스의 운영 가용성을 보장하기 위한 복구 활동이 수행된다.
RC.RP-01: 인시던트 대응 프로세스에서 시작되면 인시던트 대응 계획의 복구 부분이 실행된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | AI 관련 인시던트의 복구는 간단하지 않을 수 있다. AI에 대한 추가 고려사항이 필요할 수 있다. 복구의 복잡성은 공격 유형, 모델 유형, 인시던트 인스턴스의 심각도에 따라 달라진다. 가장 단순한 경우, 복구는 백업에서 데이터 복원, 소프트웨어 업데이트, 자격증명 업데이트로 구성될 수 있다. 더 복잡한 경우, 조직은 소프트웨어 시스템의 이전 버전으로 롤백해야 할 수 있다. 가장 복잡한 경우, 모델을 완전히 재학습해야 할 수 있다. |
| Secure (우선순위: 2) | AI 시스템의 복구 노력은 다른 유형의 시스템에 대한 복구 노력에 필요하지 않을 수 있는 복잡성을 도입한다(예: 모델 재학습). |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 어떤 시스템을 먼저 복원할지 계산하고, 진행 상황을 추적하며, 이해관계자에게 알리기 위한 명확한 업데이트를 작성하여 복구를 가속화한다. [고려사항] 복구 활동에는 AI 관련 사이버 방어 역량이 신뢰할 수 있는 상태로 복구되었는지 평가하는 것이 포함된다. 복구에는 모델 재학습이나 더 안전한 체크포인트로의 롤백이 필요할 수 있다. |
| Thwart (우선순위: 2) | 복구에는 소프트웨어 패치 및/또는 업데이트, 비밀번호 변경, 새로운 또는 업데이트된 안티바이러스 및/또는 방화벽 보호 설치가 필요할 수 있다. |
RC.RP-02: 복구 조치가 선택, 범위 설정, 우선순위 설정, 수행된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 1) | [Sample Opportunities] AI가 어떤 시스템을 먼저 복원할지 계산하고, 진행 상황을 추적하며, 이해관계자에게 알리기 위한 명확한 업데이트를 작성하여 복구를 가속화한다. [고려사항] 표준 사이버보안 관행이 적용됨. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
RC.RP-03: 백업 및 기타 복구 자산의 무결성이 복구에 사용하기 전에 검증된다
| 구분 | 내용 |
|---|---|
| 일반 고려사항 | 개념 드리프트 또는 기타 형태의 모델 성능 저하를 탐지하기 위해 백업과 이전 모델에 대한 테스트를 정기적으로 수행한다. |
| Secure (우선순위: 2) | 모델 데이터가 인시던트의 원인일 수 있다. 이 경우, 취약점을 패치하기 위해 데이터를 변경하거나 보강해야 할 수 있다. |
| Defend (우선순위: 2) | 모델 및 데이터셋 백업을 포이즈닝이나 드리프트에 대해 테스트하여 AI 구성요소의 무결성을 보장한다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 고려사항 참조. |
RC.RP-04: 인시던트 후 운영 규범을 수립하기 위해 핵심 미션 기능과 사이버보안 리스크 관리가 고려된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 2) | [Sample Opportunities] AI가 방어 준비태세에 영향을 미칠 수 있는 하드웨어 장애와 시스템 성능 저하를 예측한다. [고려사항] 인시던트 후, AI 방어 시스템의 성능(예: 탐지 정확도, FP)을 평가하고, AI가 인시던트 후 운영 규범 정제를 어떻게 지원할 수 있는지 결정한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 고려사항 참조. |
RC.RP-05: 복구된 자산의 무결성이 검증되고, 시스템과 서비스가 복구되며, 정상 운영 상태가 확인된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 어떤 시스템을 먼저 복원할지 계산하고, 진행 상황을 추적하며, 이해관계자에게 알리기 위한 명확한 업데이트를 작성하여 복구를 가속화한다. [고려사항] 복구된 AI 구성요소(모델, 학습 데이터)의 손상 여부(예: 잔여 포이즈닝)를 검증하고, 정상 운영 상태를 확인하기 전에 복구된 AI 방어 시스템이 예상 성능(예: 모델 정확도, FP 비율)으로 작동하는지 검증한다. |
| Thwart (우선순위: 2) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 고려사항 참조. |
RC.RP-06: 기준에 따라 인시던트 복구 종료가 선언되고, 인시던트 관련 문서가 완성된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | [Sample Opportunities] 보고 수행(예: 사후 조치 보고서 및 클라이언트 모니터링 출력 작성). [고려사항] 문서에는 AI 특화 아티팩트(예: 모델 로그, 출처 기록)와 AI 방어 시스템의 성능 및 적대적 벡터(예: 프롬프트 인젝션)가 어떻게 완화되거나 패배했는지를 상세히 설명하는 최종 사후 분석이 포함된다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨. 추가 지침은 Defend 고려사항 참조. |
복구 활동이 내부 및 외부 당사자와 조율된다.
RC.CO-03: 복구 활동과 운영 역량 복구 진행 상황이 지정된 내부 및 외부 이해관계자에게 전달된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | [Sample Opportunities] AI가 어떤 시스템을 먼저 복원할지 계산하고, 진행 상황을 추적하며, 이해관계자에게 알리기 위한 명확한 업데이트를 작성하여 복구를 가속화한다. [고려사항] AI 관련 복구 중 커뮤니케이션은 이해관계자에게 모델의 상태(예: 복구된 모델 버전)와 자동화된 방어 역량 재활성화의 예상 지연을 알린다. |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
RC.CO-04: 인시던트 복구에 대한 공개 업데이트가 승인된 방법과 메시징을 사용하여 공유된다
| 구분 | 내용 |
|---|---|
| Secure (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Defend (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
| Thwart (우선순위: 3) | 표준 사이버보안 관행이 적용됨 |
다음 참고문헌은 Cyber AI Profile 개발에 참고되었다:
[1] Barbosa, D. O. 외 (2025). Robust and Efficient AI-Based Attack Recovery in Autonomous Drones. arXiv. https://doi.org/10.48550/arXiv.2505.14835
[2] Bernardez Molina, S. 외 (2024). Tackling Cyberattacks through AI-based Reactive Systems: A Holistic Review and Future Vision. arXiv. https://doi.org/10.48550/arXiv.2312.06229
[3] Apruzzese, G. 외 (2023). “Real Attackers Don’t Compute Gradients”: Bridging the Gap Between Adversarial ML Research and Practice. Proceedings of IEEE EuroS&P 2023. arXiv. https://doi.org/10.48550/arXiv.2212.14315
[4] Brundage, M. 외 (2018). The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. arXiv. https://doi.org/10.48550/arXiv.1802.07228
[5] Kiribuchi, N. 외 (2025). Securing AI Systems: A Guide to Known Attacks and Impacts. J-AISI & IPA, Tokyo, Japan. arXiv. https://doi.org/10.48550/arXiv.2506.23296
[6] Databricks (2025). Databricks AI Security Framework (DASF) Version 2.0. https://www.databricks.com/resources/whitepaper/databricks-ai-security-framework-dasf
[7] The MITRE Corporation (2025). MITRE ATLAS™. https://atlas.mitre.org/
[8] NIST (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1. https://doi.org/10.6028/NIST.AI.100-1
[9] ENISA (2023). Multilayer Framework for Good Cybersecurity Practices for AI. https://www.enisa.europa.eu/publications/multilayer-framework-for-good-cybersecurity-practices-for-ai
[10] OWASP (2024). OWASP Top 10 for LLM Applications 2025. https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
[11] Rodriguez, M. 외 (2025). A Framework for Evaluating Emerging Cyberattack Capabilities of AI. arXiv. https://arxiv.org/html/2503.11917v3
[12] Bhatt, M. 외 (2023). Purple Llama CyberSecEval: A Secure Coding Benchmark for Language Models. arXiv. https://doi.org/10.48550/arXiv.2312.04724
[13] Kouremetis, M. 외 (2025). OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities. arXiv. https://doi.org/10.48550/arXiv.2502.15797
[14] Anthropic (2025). Disrupting the first reported AI-orchestrated cyber espionage campaign. https://assets.anthropic.com/m/ec212e6566a0d47/original/Disrupting-the-first-reported-AI-orchestrated-cyber-espionage-campaign.pdf
[15] OWASP (2025). OWASP AI Exchange. https://owaspai.org/OWASP-AI-Exchange.pdf
[16] OWASP (2025). OWASP AI Testing Guide. https://owasp.org/www-project-ai-testing-guide/
[17] NIST (2025). NIST AI 100-2 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. https://csrc.nist.gov/pubs/ai/100/2/e2025/final
[18] Bumanglang, K. 외 (2025). Disrupting malicious uses of AI: October 2025. OpenAI.
[19] Walker, K. (2025). A summer of security: empowering cyber defenders with AI. Google.
[20] Waisman, N. (2025). XBOW on HackerOne: What’s Next. XBOW.
[21] Ullah, S. 외 (2025). From CVE Entries to Verifiable Exploits: An Automated Multi-Agent Framework for Reproducing CVEs. arXiv.
[22] NIST (2024). The NIST Cybersecurity Framework (CSF) 2.0. NIST CSWP 29. https://doi.org/10.6028/NIST.CSWP.29
[23] Joint Task Force (2020). Security and Privacy Controls for Information Systems and Organizations. NIST SP 800-53, Rev. 5. https://doi.org/10.6028/NIST.SP.800-53r5
[24] Zhao, H. 외 (2023). Explainability for Large Language Models: A Survey. arXiv. https://arxiv.org/abs/2309.01029
[25] ENISA (2025). ENISA Threat Landscape 2025. https://www.enisa.europa.eu/publications/enisa-threat-landscape-2025
[26] Boyens, J. 외 (2022). Cybersecurity Supply Chain Risk Management Practices for Systems and Organizations. NIST SP 800-161r1-upd1. https://doi.org/10.6028/NIST.SP.800-161r1-upd1
[27] Ross, R. 외 (2021). Enhanced Security Requirements for Protecting Controlled Unclassified Information. NIST SP 800-172. https://doi.org/10.6028/NIST.SP.800-172
[28] U.S. Department of Commerce (2021). The Minimum Elements for a Software Bill of Materials (SBOM).
[29] Souppaya, M. 외 (2022). Secure Software Development Framework (SSDF) Version 1.1. NIST SP 800-218. https://doi.org/10.6028/NIST.SP.800-218
[30] Hazell, J. (2023). Spear Phishing with Large Language Models. arXiv. https://doi.org/10.48550/arXiv.2305.06972
[31] The MITRE Corporation (2025). MITRE ATT&CK®. https://attack.mitre.org/
[32] Hackett, W. 외 (2025). Bypassing LLM Guardrails: An Empirical Analysis of Evasion Attacks against Prompt Injection and Jailbreak Detection Systems. arXiv. https://doi.org/10.48550/arXiv.2504.11168
[33] Plesner, A. 외 (2024). Breaking reCAPTCHAv2. arXiv. https://doi.org/10.48550/arXiv.2409.08831
[34] Dhanushkodi, K. 외 (2024). AI Enabled Threat Detection: Leveraging AI for Advanced Security and Cyber Threat Mitigation. https://doi.org/10.1109/ACCESS.2024.3493957
[35] Rose, S. 외 (2020). Zero Trust Architecture. NIST SP 800-207. https://doi.org/10.6028/NIST.SP.800-207
[36] Huang, L. 외 (2024). A Survey on Hallucination in Large Language Models. arXiv. https://doi.org/10.48550/arXiv.2311.05232
[37] Ponomareva, N. 외 (2023). How to DP-fy ML: A Practical Guide to Machine Learning with Differential Privacy. arXiv. https://doi.org/10.48550/arXiv.2303.00654
[38] Abdali, S. 외 (2025). Securing Large Language Models: Threats, Vulnerabilities and Responsible Practices. arXiv. https://doi.org/10.48550/arXiv.2403.12503
[39] Girhepuje, S. 외 (2024). A Survey on Offensive AI Within Cybersecurity. arXiv. https://doi.org/10.48550/arXiv.2410.03566
[40] Chen, Z; Ji, C. (2005). A self-learning worm using importance scanning. https://doi.org/10.1145/1103626.1103632
[41] Avgerinos, T. 외 (2014). Automatic exploit generation. https://doi.org/10.1145/2560217.2560219
[42] NIST (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1. https://doi.org/10.6028/NIST.AI.600-1
[43] Castagnaro, A. 외 (2024). Offensive AI: Enhancing Directory Brute-forcing Attack with the Use of Language Models. arXiv. https://doi.org/10.48550/arXiv.2404.14138
[44] Kure, H. 외 (2025). Detecting and Preventing Data Poisoning Attacks on AI Models. arXiv. https://doi.org/10.48550/arXiv.2503.09302
[45] Souly, A. 외 (2025). Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples. arXiv. https://doi.org/10.48550/arXiv.2510.07192
[46] Wipro (2025). State of Cybersecurity Report 2025.
[47] Booth, H. 외 (2024). Secure Software Development Practices for Generative AI and Dual-Use Foundation Models. NIST SP 800-218A. https://doi.org/10.6028/NIST.SP.800-218A
[48] Google Threat Intelligence Group (2025). GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools.
[49] Microsoft (2025). Microsoft Digital Defense Report 2025.
[50] OWASP (2025). Generative AI and Agentic Security Solutions Landscape.
[51] NIST (2023). Artificial Intelligence Risk Management Framework (RMF) Playbook. https://airc.nist.gov/airmf-resources/playbook/
[52] Cloud Security Alliance (2025). AI Controls Matrix. https://cloudsecurityalliance.org/artifacts/ai-controls-matrix
| 약어 | 영문 | 한국어 |
|---|---|---|
| AI | Artificial Intelligence | 인공지능 |
| AIBOM | Artificial Intelligence Bill of Materials | 인공지능 자재 명세서 |
| AI RMF | AI Risk Management Framework | AI 리스크 관리 프레임워크 |
| API | Application Programming Interface | 응용 프로그래밍 인터페이스 |
| APT | Advanced Persistent Threat | 지능형 지속 위협 |
| BDA | Big Data Analytics | 빅데이터 분석 |
| CISO | Chief Information Security Officer | 최고정보보안책임자 |
| CMMC | Cybersecurity Maturity Model Certification | 사이버보안 성숙도 모델 인증 |
| CMMI | Capability Maturity Model Integration | 역량 성숙도 모델 통합 |
| COI | Community of Interest | 관심 커뮤니티 |
| COSAiS | Control Overlays for Securing AI Systems | AI 시스템 보안을 위한 통제 오버레이 |
| CPS | Cyber-Physical System | 사이버 물리 시스템 |
| CPRT | Cybersecurity and Privacy Reference Tool | 사이버보안 및 프라이버시 참조 도구 |
| CSF | Cybersecurity Framework | 사이버보안 프레임워크 |
| CTI | Cyber Threat Intelligence | 사이버 위협 인텔리전스 |
| DDoS | Distributed Denial-of-Service | 분산 서비스 거부 |
| DFARS | Defense Federal Acquisition Regulation Supplement | 국방 연방 조달 규정 보충 |
| EOL | End-of-Life | 수명 종료 |
| FedRAMP | Federal Risk and Authorization Management Program | 연방 리스크 및 인가 관리 프로그램 |
| FN | False Negative | 거짓 음성 |
| FP | False Positive | 거짓 양성 |
| GenAI | Generative Artificial Intelligence | 생성형 인공지능 |
| GPU | Graphics Processing Unit | 그래픽 처리 장치 |
| HITL | Human-in-the-loop | 루프 내 인간 |
| ICS | Industrial Control Systems | 산업 제어 시스템 |
| IDS | Intrusion Detection Systems | 침입 탐지 시스템 |
| IoT | Internet of Things | 사물인터넷 |
| IR | Informative Reference | 참조 정보 |
| ISAC | Information Sharing and Analysis Center | 정보 공유 분석 센터 |
| ISAO | Information Sharing and Analysis Organization | 정보 공유 분석 기관 |
| ITL | Information Technology Laboratory | 정보기술연구소 |
| LLM | Large Language Model | 대규모 언어 모델 |
| MFA | Multi-Factor Authentication | 다중 인증 |
| ML | Machine Learning | 머신러닝 |
| NCCoE | National Cybersecurity Center of Excellence | 국가 사이버보안 우수 센터 |
| NIST | National Institute of Standards and Technology | 미국 국립표준기술연구소 |
| OpenCTI | Open Cyber Threat Intelligence | 개방형 사이버 위협 인텔리전스 |
| OSINT | Open Source Intelligence | 공개 출처 인텔리전스 |
| PII | Personally Identifiable Information | 개인 식별 정보 |
| RL | Reinforcement Learning | 강화학습 |
| RMF | Risk Management Framework | 리스크 관리 프레임워크 |
| SaaS | Software as a Service | 서비스형 소프트웨어 |
| SARSA | State-Action-Reward-State-Action | 상태-행동-보상-상태-행동 |
| SBOM | Software Bill of Materials | 소프트웨어 자재 명세서 |
| SP | Special Publication | 특별 간행물 |
| SQL | Structured Query Language | 구조화된 쿼리 언어 |
| STIX | Structured Threat Information eXpression | 구조화된 위협 정보 표현 |
| TPU | Tensor Processing Unit | 텐서 처리 장치 |
| UEBA | User and Entity Behavior Analytics | 사용자 및 엔터티 행위 분석 |
이 부록은 보고서의 독자 이해를 촉진하기 위해 정의되고 설명된 용어를 포함할 예정이다. (향후 버전에서 완성 예정)
이 커뮤니티 프로파일은 사이버보안 관리를 위한 유연하고 리스크 기반의 접근법을 제공하는 NIST 사이버보안 프레임워크(CSF) 2.0에 기반한다. CSF는 모든 규모, 부문, 사이버 성숙도 수준의 조직이 이해관계자 간의 커뮤니케이션과 협력을 개선하면서 고유한 사이버보안 리스크를 다루는 데 도움을 준다.
CSF Core는 조직이 사이버보안 리스크를 관리하는 데 도움이 되는 고수준 사이버보안 성과의 분류 체계이다. Core 구성요소는 각 성과를 상세히 설명하는 Functions, Categories, Subcategories의 계층 구조이다. 이러한 성과는 사이버보안 전문성에 관계없이 경영진, 관리자, 전문가를 포함한 폭넓은 독자가 이해할 수 있다.
CSF Core Functions(Govern, Identify, Protect, Detect, Respond, Recover)는 최고 수준에서 사이버보안 성과를 구성한다. Core는 이후 각 Function에 대한 기반 Categories와 Subcategories를 식별한다. CSF 2.0 Core의 6개 Functions는 22개 Categories로 구성되며, 이는 더 구체적인 성과의 106개 Subcategories로 더 세분화된다.
Sections 2.3-2.8에는 Cyber AI Profile과 관련된 CSF Functions, Categories, Subcategories에 대한 설명이 포함되어 있다. 또한 NIST CSF 웹사이트는 구현 사례(Implementation Examples)와 참조 정보(Informative References)를 포함하여 조직이 CSF를 이해, 채택, 사용하고 각 Subcategory의 원하는 성과를 달성하는 데 도움이 되는 보충 자료를 제공한다. 커뮤니티와 조직은 향후 자신의 환경에 고유한 구현 사례와 참조 정보를 추가할 수 있다.
Cyber AI Profile은 AI 역량 구현을 위한 사이버보안 관련 기회를 이해하고, AI 여정의 어디에 있든 AI 시스템이 도입하는 새로운 사이버보안 리스크를 관리하는 데 있어 조직의 사이버보안 프로그램을 지원하도록 설계되었다. Cyber AI Profile의 사용은 다음을 제공한다:
Cyber AI Profile은 조직의 성숙도 수준, 가용 자원, 요구, 목표에 따라 적응될 수 있는 지침을 제공한다. 예를 들어, 조직은 Focus Area의 우선순위를 정하거나, 제거하거나, 추가할 수 있다. 조직은 Subcategories의 제안된 우선순위를 조정하거나, 다른 우선순위 스키마를 선택할 수도 있다.
Cyber AI Profile은 조직이 AI에 대한 원하는 사이버보안 성과를 식별하고 다루기 위한 정보에 입각한 출발점을 제공한다. 조직은 Cyber AI Profile의 정보를 사용하여 다음과 같은 리스크 관리 활동을 지원할 수 있다:
Cyber AI Profile은 조직이 결정을 내리는 데 도움이 되는 통찰을 제공하지만, 우선순위를 결정하고 CSF Core의 성과를 어떻게 달성할지는 각 조직에 달려 있다. 예를 들어, 조직은 세 가지 Focus Area를 한꺼번에 다루는 대신 한 번에 하나의 Focus Area를 다루도록 선택할 수 있다. 조직은 또한 나머지를 다루기 전에 High Priority(1) Subcategories만 먼저 다루는 것과 같은 결정을 내릴 수 있다.