행동기반 탐지는 프로그램이나 사용자의 실행중인 행위를 감시하여 사정 정의된 시그니쳐 없이도 이상 행위, 비정상 동작, 위협 가능성 있는 패턴을 탐지하는 기술이다. 이는 특히 제로데이 공격, 파일리스 악성코드, 내부자 위협에 효과적이며, 최신 보안 플랫폼의 핵심 구성 요소이다.
필자는 저번 서명기반 탐지 기술에 이어서 이번 글에서는 행동기반 팀지 기술에 대해 설명하겠다.

1. 행동기반 탐지란?

행동기반 탐지는 시스템, 어플리케이션, 사용자 또는 프로세스의 실행 시 행동 패턴을 관찰하고, 정상과 다른 이상행윌흘 탐지하여 악성 여부를 판단하는 방식이다. 이는 사전에 정의된 시그니처에 의존하는 것이 아니라, 실행 중 발생하는 동적 행위에 주목한다.

---

2. 탐지 방식

2-1. 데이터 수집

• OS 수준의 이벤트 후킹
• 시스템 콜, 네트워크 패킷, 파일 입출력, 러지스트리 변경 등

2-2. 행위 모델링

• 정상 행위 프로파일링 (화이트리스트 기반)
• 머신러닝을 통한 행동 특성 학습 (Supervised, Unsupervised)
• 시계열 분석, 이벤트 흐름 모델링(Sequence Matching)

2-3. 이상 탐지

• 정책기반: 정해진 정책에서 벗어나는 행위를 탐지
• 통계기반: 행동의 빈도, 분포, 변화를 기반으로 이상 징후 포착
• AI기반: 비정상 행위 패턴을 학습한 모델로 분류

---

3. 기술적 구성 요소

• 센서/모니터: 행동 데이터를 실시간으로 수집하는 에이전트(프로새스 후킹, 시스템 콜 트레이싱 등)
• 행위 분석 엔진: 수집된 이벤트를 시계열 흐름으로 재구성하여 행위를 위미 단위로 모델링
• 행위 기준/정책: 정상 범위를 정의하는 기준, 조직 내 환경에 따라 커스터마이징 가능
• 알림 및 대응 모듈: 이상 탐지 시 알림 전송,프로세스 차단, 격리 등의 자동 대응 수행

---

4. 서명 기반 탐지 vs 행동 기반 탐지

항목	서명기반탐지	행동기반탐지
탐지 대상	알려진 위협	알려지지 않은 위협(동적)
탐지 방식	고정된 시그니처 비교	실행중인 행위 분석
우회 가능성	우회 쉬움	우회 어려움(행동은 숨기기 어려움)
오탐율	낮음(정확함)	상대적으로 높음(False Positive 가능성 존재)
탐지 시간	빠름	분석 시간 필요(상대적으로 느림)
유지보수	주기적인 시그니처 업데이트 필요	환경 변화에 따른 지속적 학습 필요

---

행동기반 탐지는 정적인 서명 방식이 탐지하지 못하는 "비정상적 행위" 를 포착하여 실질적인 위협을 조기에 감지할 수 있는 유력한 방법이다. 하지만 높은 정확도와 낮은 오탐율을 위해서는 환경에 맞는 정책 설계, 학습 데이터 확보, 운영 중 튜닝이 반드시 병행되어야 한다. 그럼 이번 글은 여기서 마무리 하도록 하겠다