📚 네트워크 · 패킷 분석 › 06. 방화벽 · IDS 기초 — 281편
이전 글: 280. Signature Detection · 다음 글: 282. Signature Rule
1. 개념
Anomaly Detection(이상 탐지, 행위 기반 탐지) 은 "정상이 무엇인지"를 먼저 정의하고, 거기서 크게 벗어난 활동을 탐지하는 방식입니다. 280. Signature Detection이 "나쁜 것의 모양"을 알고 찾는다면, 이상 탐지는 "평소와 다른 것" 을 찾습니다.
기준선 데이터를 어떤 장비에서 수집하는지(NetFlow·sFlow·IDS 흐름 기록)는 04 영역 191. Anomaly Detection에서 다뤘습니다. 이 글은 탐지 방식의 논리와 이상 Alert를 판단하는 방법을 다룹니다.
| 비교 | Signature Detection | Anomaly Detection |
|---|---|---|
| 기준 | 알려진 공격 패턴 | 정상 상태(기준선) |
| 새로운 공격 | 탐지 어려움 | 평소와 다르면 탐지 가능 |
| 오탐 성격 | 패턴이 정상과 우연히 겹침 | 정상이지만 평소와 다른 업무 |
| Alert 설명력 | "무엇"인지 명확 | "다르다"만 알려 줌 |
| 운영 부담 | 규칙 갱신 | 기준선 학습·재조정 |
2. 동작 원리
이상 탐지는 "무엇을 정상으로 볼 것인가"를 정하는 방법에 따라 몇 가지로 나뉩니다.
[관찰 데이터] 흐름 수, 바이트 수, 목적지 수, 포트 수, 시간대, 프로토콜 필드
↓
[정상 정의 방식 선택]
├─ 고정 임계치: "출발지당 1분에 새 연결 100개 이상이면 이상"
├─ 통계 기준선: "이 호스트의 요일·시간대 평균 대비 3배 이상이면 이상"
├─ 프로토콜 규격: "RFC·규격에 맞지 않는 메시지면 이상"
└─ 처음 보는 것: "이 서버가 처음 접속하는 외부 국가·도메인이면 이상"
↓
[편차 계산 → 점수·Alert]
↓
관제자: 원인이 업무 변화인지 공격인지 판단| 방식 | 탐지 예 | 오탐 원인 예 |
|---|---|---|
| 고정 임계치 | 짧은 시간의 대량 연결, 대량 인증 실패 | 모니터링 도구, 부하 테스트 |
| 통계 기준선 | 야간 외부 전송량 급증 | 월말 백업, 대용량 배포 |
| 프로토콜 이상 | 잘못된 헤더, 비표준 포트의 프로토콜 | 오래된 장비의 비표준 구현 |
| 최초 관찰 | 새 목적지·새 사용자 에이전트 | 신규 서비스·SaaS 도입 |
3. 주요 특징
- 알려지지 않은 공격의 단서를 줍니다. 시그니처가 없는 신규 악성코드도 C2 통신 주기, 외부 전송량, 내부 확산 패턴에서 이상으로 드러날 수 있습니다.
- 오탐이 많은 편입니다. 조직의 업무는 계속 바뀌므로, "평소와 다름"의 대부분은 정상적인 변화입니다.
- 기준선 오염 문제가 있습니다. 학습 기간에 이미 침해가 있었다면 비정상이 정상으로 학습됩니다.
- 천천히, 조금씩 움직이는 공격은 기준선 안에 숨을 수 있습니다. 느린 스캔, 소량 반복 유출이 그 예입니다.
- IDS 엔진에서는 시그니처 규칙 안에 임계치 옵션(threshold, detection_filter) 을 넣어 간단한 이상 탐지를 구현하기도 합니다. 이 방식은 291. Port Scan 탐지, 292. Brute Force 탐지에서 다룹니다.
4. 예시
통계 기준선 기반 이상 Alert가 어떤 정보를 담는지 보여 주는 형식 예시입니다(값은 환경마다 다름, 특정 제품 출력 아님).
# 형식 예시 — 이상 탐지 Alert (SIEM·NDR 제품 공통 형태로 단순화)
time=2026-09-30T03:10:00+09:00 type=anomaly model=outbound_bytes_per_host
host=192.168.10.61 window=1h observed=8.2GB baseline_mean=0.4GB baseline_std=0.2GB
score=high top_dest=198.51.100.200:443 app=tls분석 방법 — 이상 Alert는 관찰값, 기준값, 비교 창(window) 을 먼저 읽습니다. 위 예시는 "새벽 1시간 동안 평소 평균 대비 약 20배를 외부 한 곳으로 보냈다"는 뜻입니다. 이것만으로는 악성인지 알 수 없으므로 다음 순서로 원인을 좁힙니다.
- 해당 호스트의 역할과 예정된 작업(백업, 동기화) 확인
- 목적지의 정체(조직이 쓰는 클라우드 서비스인가) 확인
- 같은 시간대 해당 호스트의 시그니처 Alert·HIDS 이벤트 확인
- 처음 발생했는가, 주기적으로 반복되는가 확인
5. 보안 관점
- 이상 탐지는 내부 확산, 대량 유출, C2 비콘처럼 행위로 드러나는 단계에서 특히 유용합니다.
- 기준선은 환경 변화에 맞춰 재학습해야 합니다. 방치하면 오탐이 늘거나, 반대로 기준이 너무 느슨해집니다.
- 공격자가 업무 시간·평소 목적지·평소 양을 흉내 내면 이상 탐지를 피할 수 있으므로, 시그니처·호스트 탐지와 함께 운영합니다.
- 프로토콜 이상 이벤트는 회피 시도의 신호일 수 있습니다. 비정상 조각화, 겹치는 세그먼트는 IDS 회피 기법과 관련될 수 있습니다.
6. SOC 관점
관제자가 이상 Alert를 볼 때 확인할 질문
- 기준선은 어떤 기간, 어떤 단위(호스트·서브넷·시간대)로 만들어졌는가?
- 관찰값은 기준 대비 얼마나 벗어났고, 처음인가 반복인가?
- 변경 관리 기록, 작업 일정, 신규 서비스 도입으로 설명되는가?
- 같은 호스트에 시그니처 Alert나 방화벽 차단이 함께 있는가?
이상 Alert
↓ 관찰값 / 기준값 / 비교 창 확인
↓ 업무 원인 확인 (작업 일정·자산 담당자 문의)
설명됨 → 종결 + 기준선 예외 또는 재학습 요청
설명 안 됨 → 목적지 평판·흐름 상세·호스트 로그 확인 → 에스컬레이션오탐 주의: 이상 Alert를 모두 조사하면 관제 인력이 감당할 수 없습니다. 자산 중요도와 편차 크기로 우선순위를 정합니다. 비정상 트래픽 유형별 판단은 294. 비정상 Network Traffic 탐지에서 이어집니다.
7. 핵심 정리
- 이상 탐지는 정상 기준선을 정하고 그와 크게 다른 활동을 탐지하는 방식입니다.
- 고정 임계치, 통계 기준선, 프로토콜 규격, 최초 관찰 방식이 대표적입니다.
- 알려지지 않은 공격의 단서를 주지만, 업무 변화로 인한 오탐이 많습니다.
- 기준선 오염과 느린 공격은 이상 탐지의 한계이므로 시그니처·호스트 탐지와 함께 운영합니다.
- 이상 Alert는 관찰값·기준값·비교 창을 읽고 업무 원인부터 확인해 판단합니다.
