머신러닝 기반 보안 프로그램 설계

정지효·2025년 3월 23일

보안 분야에서 머신러닝과 인공지능 기술을 적용하면, 기존 서명 기반 탐지나 구칙 기반 시스템이 놓칠 수 있는 제로데이 공격, 다형성 악성코드, 이상 행위 등을 효과적으로 탐지할 수 있다. 필자는 이러한 이점을 저사양 시스템이나 임베디드 시스템에도 적용하고자 C언어를 이용해 모델을 구현하는 방식으로 프로그램을 설계하였다. 지금부터 프로그램의 설계 단계에 대해 설명하겠다.

1. 설계 단계별 세부 전략

머신러닝 기반 보안 시스템을 설계하기 위해서는 다음 단계들을 체계적으로 진행해야 한다.

1.1 시스템 아키텍처 설계

1.1.1 데이터 수집 및 저장

데이터 소스

네트워크 트래픽: 패킷 캡쳐, NetFlow 데이터
시스템 로그: 운영 체제, 애플리케이션 로그, 보안 이벤트 로그
엔드포인트 데이터: 사용자 행위, 파일 변경 기록, 프로세스 모니터링
전송방법
에이전트를 통해 각 노드에서 로그를 수집한 후, REST API 또는 메시지 큐(Kafka 등)를 사용해 중앙 서버로 전송한다.
저장소
대용량 데이터 처리를 위한 데이터 레이크(HDFS, Amazon S3)와 빠른 조회를 위한 NoSQL(MongoDB) 혹은 관계형 데이터베이(PostgreSQL)를 함께 활용한다.

1.1.2 데이터 전처리 및 특성 추출

전처리 작업

노이즈 제거: 불필요한 정보 제게 및 이상치 처리
정규화: 데이터 포맷 통일, 타임스탬프 정렬
로그 파싱: 정규 표현식이나 로그 파서 도구를 사용해 필요한 필드를 추출

특성 추출

정적 특성: 파일 헤더 정보, 해시값, 문자열 패턴, 메타데이터
동적 특성: 이벤트 발생 빈도, 시계열 변화, API 호출 순서 등
텍스트 임베딩: 자연어 로그나 에레 메세지는 Word2Vec, TF-IDF, BERT 등을 활용해 백터화

1.1.3 모델 학습 및 평가

학습 데이터 구성

피드백과 자동화된 라벨링을 통해 정상/비정상 데이터셋 구축

모델 선택

지도학습: 로지스틱 회귀, 랜덤 포레스트, SVM, 딥러닝(CNN, RNN 등)을 활욜해 기존에 알려진 패턴을 학습
비지도학습: 오토인코더, 클러스터링(K-Means, DBSCAN) 등으로 이상치 탐지
강화학습: 실시간 대응 시스템에서 최적의 대응 정책을 학습한다.

평가지표

정밀도(Precision), 재현율(Recall), F1-score, ROC-AUC 등을 사용하여 모델의 성능을 평가한다. 특히 보안 분야에선ㄴ 오탐(Flase Positive)과 미탐(Flase Negative)의 균형이 아주 중요하다.

재학습

새로운 위협 데이터와 환경 변화에 맞춰 주기적 혹은 온라인 학습(Online Learning)을 통해 모델을 업데이트 한다.

1.1.4 실시간 추론 및 자동 대응 시스템 통합

추론 엔진

학습된 모델을 실제 운영 환경에 배포하여, 실시간 데이터 스트림을 처리할 수 있도록 API 서버 혹은 마이크로서비스로 구현한다.
자동대응
이상치 탐지 결과에 따라 자동으로 경보를 발생시키거나, 네트워크 차단, 파일 격리 등의 대응 작업을 실행한다.
운영 및 모니터링
라즈베리 파이를 이용한 서버를 통해 시스템 상태 및 모델 성능을 실시간 모니터링 한다.

2. C언어로 구현하는 추론 엔진

보안 시스템의 실시간 추론 모듈은 높은 성능과 낮은 지연 시간이 요구된다. C언어는 컴파일된 코드의 효율성 덕분에 이러한 요구에 적합하다. 이래는 C언어로 로지스틱 회귀 모델을 구현하는 설계 과정이다. 경사 하강법을 통한 학습과 추론 기능을 포함하도록 만들 계획이다.

2.1 모델 원리 요약

2.1.1 모델 식

z = \text{bias} + \sum_{i=1}^{n} w_i \times x_i

2.1.2 학습

손실 함수로 이진 교차 엔트로피를 사용하여, 경사 하강법을 통해 가중치와 바이어스를 업데이트 한다.

2.2 코드 동작 원리

2.2.1 예측 함수

입력 피처 백터와 가중치, 바이어스의 선형 결합 결과를 시그모이드 함수에 통과사켜 확률 값을 산출한다.

2.2.2 학습과정

각 에폭마다 모든 샘플의 예측 오차를 누적하여 가중치와 바이어스에 대한 미분(그래디언트)을 계산하고, 경사 하강법으로 업데이트 한다.

2.2.3 손실 함수

이진 교차 엔트로피 손실을 이용해 모델의 예측과 실제 값 사이의 차이를 수치화하며, 주기적으로 출력하여 학습 과정을 모니터링 한다.

3. 확장 및 운영 고려사항

3.1 데이터 전처리와 특성 확장

실제 보안 환경에서는 로그 데이터, 네트워크 패킷, 사용자 행동 등 다양한 소스에서 데이터를 수집한다.
복잡한 전처리 및 특성 추출 작업이 필요하며, 이 과정에서 python 등의 스크립트 언어를 사용해 데이터 전처리를 완료한 후 C언어로 최적화된 추론 엔진에 전달할 수 있다.

3.2 모델 평가 및 주기적 업데이트

모델의 오탐지와 미탐지를 최소화하기 위해 정밀도, 재현율, F1-score, ROC_AUC 등의 평가 지표를 사용한다.
새로운 보안 위협에 대응하기 위해, 주기적으로 모델을 재학습하거나 온라인 학습 기법을 적용하여 최신 데이터를 반영한다.

3.3 실시간 추론 및 대응 시스템 통합

C언어 기반 추론 엔진은 고성능 요구사항이 있는 임베디드 슷템이나 실시간 보안 솔류션에 적합하다.
스트리밍 데이터 처리 프레임워크(Kafka, Flink 등)와 연동하여 실시간으로 위협을 탐지하고, API 서버를 통한 보안 정책(경고, 차단, 격리)과 연계한다.

4. 결론

머신러닝 기반 보안 프로그램은 다층 방어 전략과 데이터 기반 의사결정을 통해, 기존의 서명 기반 시스템이 놓칠 수 있는 새로운 위협에 대응 할 수 있다.
필자는 본 포스팅에서 시스템 아키텍처 설계, 데이터 수집 및 전처리, 모델 학습과 평가, 실시간 추론 시스템 통합까지 전체 파이프라인을 세브적으로 다루었다. 특히, C언어로 로지스틱 회귀 모델을 구현하는 방법은 고성능 추론 엔진의 한 예로, 임베디드 환경이나 실시간 보안 모듈에 적용할 수 있는 기초적인 접근법을 보여준다. 다음 포스팅에서는 시그니처 서버와 DB구축부터 시작하여 머신러닝 기반 보안 프로그램을 개발해 보도록 하겠다.

정지효

SRIHS infoSec 119th

이전 포스트

서명기반 탐지의 구현 기술 심층 분석

다음 포스트