GCAD: Anomaly Detection in Multivariate Time Series from the Perspective of Granger Causality

Abstract

다변량 시계열(Multivariate Time Series, MTS) 이상 탐지는 다양한 실제 응용에서 중요하며 활발히 연구되고 있음.
변수 간의 상호작용을 모델링하는 것이 중요하지만, 기존 방법은 주로 예측 또는 복원 기반의 방식으로, 학습된 관계의 해석력 부족 문제가 있음.

본 논문은 변수 간의 인과적 관계(causal relationships)를 모델링하여 이상 탐지를 수행하는 프레임워크를 제안함.
비선형 deep predictor의 gradient를 기반으로 Granger causality를 동적으로 발견하고, sparsification 전략을 통해 인과 그래프를 구성하며, 인과 패턴의 변화를 통해 이상 탐지를 수행함.
실제 데이터셋 실험을 통해, 본 모델이 기존 방법들보다 더 정확한 이상 탐지 성능을 보임.

Introduction

현대의 산업 시스템, 항공우주 장비, 서버 인프라 등은 복잡한 구조를 지닌 센서 네트워크를 기반으로 작동하며, 이로 인해 막대한 양의 다변량 시계열(Multivariate Time Series, MTS) 데이터가 생성된다. 이러한 데이터로부터 시스템의 이상(anomaly)을 조기에 탐지하는 것은 시스템의 안정성을 확보하고 경제적 손실을 방지하는 데 있어 핵심적인 과제이다.

최근 연구에서는 MTS 내 변수 간의 상호작용 관계를 모델링하는 것이 이상 탐지 성능 향상에 매우 중요함이 밝혀졌다. 이에 따라, Graph Neural Network(GNN) 기반의 접근법들이 주목받고 있으며, 이는 시계열 변수들 간의 공간적(spatial) 종속성을 효과적으로 포착할 수 있다는 장점을 지닌다. 하지만 대부분의 시계열 데이터는 사전에 정의된 그래프 구조가 없기 때문에, 기존 방법들은 데이터를 통해 그래프 구조를 적응적으로 학습하고, 이후 예측 또는 복원 오류를 기반으로 이상을 탐지하는 방식으로 동작한다.

그러나 이러한 방식은 몇 가지 본질적인 한계를 가진다. 첫째, 대부분의 기존 방법들은 embedding 간의 유사도(similarity)를 학습하는 데 그치며, 시간 흐름에 따른 인과적 영향을 명시적으로 반영하지 못한다. 둘째, 이러한 유사도 기반의 그래프는 시계열의 진화나 변화 과정에 대한 해석력(interpretablility)이 떨어진다. 결과적으로, 시스템 내 실제로 발생하는 이상 패턴과 그 원인을 파악하기 어렵다.

현실 세계의 시스템에서는 이상이 발생할 때 변수 간의 인과 구조(dependency structure) 자체가 변하는 경우가 많다. 예를 들어, 정상적인 수압 시스템에서는 유입 압력이 증가하면 유출 압력도 자연스럽게 증가하지만, 파이프라인에 누수가 발생하면 이 관계가 무너진다. 이처럼, 시계열 간의 인과관계를 기반으로 한 종속 구조를 학습하고, 그것이 정상 패턴에서 얼마나 벗어났는지를 탐지하는 방식은 이상 탐지에서 매우 유효한 접근이 될 수 있다.

하지만 이와 같은 인과 기반 이상 탐지는 두 가지 큰 도전 과제를 내포하고 있다. 첫째, 실제 시스템은 복잡한 제어 로직과 비선형적인 변수 간 상호작용을 가지므로, 이러한 복잡한 인과 구조를 데이터 기반으로 해석 가능하게 학습하는 것 자체가 어렵다. 둘째, 변수 간의 인과 관계는 고정되어 있지 않고 시간에 따라 동적으로 변화하며, 이를 정확히 포착하여 이상을 감지하는 것도 도전적인 문제이다.

이러한 배경에서, 본 논문은 Granger Causality를 활용하여 시계열 간의 인과 관계를 동적으로 학습하고, 그 변화로부터 이상을 탐지하는 새로운 프레임워크 GCAD를 제안한다. Granger Causality의 핵심 아이디어는 간단하다. 만약 시계열 $x_i$의 과거값이 시계열 $x_j$의 미래를 더 잘 예측하는 데 기여한다면, $x_i$는 $x_j$에 대해 Granger-cause를 가진다고 본다.

전통적으로 Granger causality는 선형 회귀 기반으로 정의되어 있었지만, 본 논문은 딥러닝 모델의 gradient 정보를 활용하여 비선형 인과 관계를 효과적으로 추출한다. 이 과정에서, 정상 데이터로 학습된 딥러닝 예측기는 정상 시점의 인과 패턴을 내재화하게 되며, 테스트 시점에서 이상이 발생하면 그에 따라 인과 패턴이 비정상적으로 변형되어 감지 가능해진다.

이와 같이 본 논문은 딥러닝 기반 예측기의 backpropagation gradient를 통해 Granger causality를 추정하고, sparsification 기법을 통해 불필요한 양방향 유사성을 제거하여 인과 그래프를 구성한다. 최종적으로, 정상 인과 그래프와 테스트 시점의 인과 그래프 간의 편차를 이상 탐지 지표로 활용함으로써, 높은 정확도와 해석 가능성을 동시에 확보하는 이상 탐지 모델을 구현하였다.

Related works

1. Multivariate Time Series Anomaly Detection
   초기의 다변량 시계열 이상탐지는 통계 기반 모델(ARIMA, HotSAX등)에 의존했고, 이는 선형성과 정상성(stationarity) 가정에 기반한다.
   최근에는 복잡한 비선형 관계까지 다룰 수 있는 딥러닝 기반 방법들이 주류로 자리잡고 있다. 대표적으로 CNN 기반의 DeepAnT, LSTM 기반 모델, VAE 혹은 GAN 기반 모델들이 있다.
   그러나 이러한 모델들 또한 시계열 간의 공간적(spatial) 관계를 명시적으로 고려하지는 못한다. 즉, 각 시계열 변수를 독립적으로 취급하거나 단순히 concatenate해서 처리하는 한계가 존재한다.

2. Inter-sequence Correlations Modeling
   최근에는 GNNs(Graph Neural Networks)을 이용해 시계열 변수들을 노드, 변수 간 관계로 구성하고 이를 엣지로 이어 공간적 종속성을 모델링하려는 시도가 이어지고 있다.
   대표적으로, cosine similarity를 기반으로 학습된 embedding 간의 그래프 구조를 갖는 GDN(Graph Deviation Network)과 dot-product를 통해 similarity graph를 생성하는 VGCRN, FuSAGNet 등이 있다.
   그러나 이러한 방법론들도 대부분 고정된(static) 그래프를 사용하기 때문에 현실의 동적 시스템에는 적합하지 않다.
   물론 self-attention 기반의 방법들도 존재하지만, 무작위로 초기화된 attention weight가 의미 없는 관계를 학습할 가능성이 있기 때문에 한계가 존재한다.

3. Granger Causality 기반 이상 탐지
   Granger Causality를 이상 탐지에 적용하려는 초기 시도는 있었으나, 대부분 선형 회귀 기반으로 단순한 관계만 모델링이 가능하다.
   일부 연구는 network weight의 sparsity를 이용해 비선형 Granger Causality를 탐색했다.
   그러나 이러한 방법들은 테스트 시점에서 매번 parameter optimization이 필요하기 때문에 실시간 이상 탐지와 같이 streaming이나 online setting에는 부적합하다. 또한, 대부분 이상 탐지를 목적으로 두지 않고 인과 추론(causal discovery) 자체에 초점을 맞추므로 완전히 적합하다고 보기 어렵다.

Methodology

GCAD의 전체 구조도는 아래와 같다.

GCAD는 다변량 시계열에서 Granger 인과성 기반의 이상 탐지를 수행한다.
이를 위해 모델은 학습 데이터를 통해 정상 인과 패턴을 학습하고, 테스트 시점에서 인과 패턴의 변화를 기반으로 anomaly score를 계산한다.

GCAD는 크게 4단계로 구성된다.

• Prediction based Gradient Generator
• Granger Causality Discovery
• Causality Graph Sparsification
• Causal Deviation Scoring

Prediction-based Gradient Generator

이 단계에서는 입력 시계열로부터 예측 오차에 대한 gradient를 계산하여 변수 간 인과 관계를 추출할 수 있는 준비를 한다.
예측기로는 최근 제안된 TSMixer를 채택하여 Temporal Mixing과 Feature Mixing을 반복적으로 수행 가능하도록 한다.
입력 시계열은 슬라이딩 윈도우 방식으로 $X_{t-1}={x_{t-\tau},...,x_{t-1}} \in \mathbb{R}^{N\times \tau}$ 가 입력된다.
이 때, $N$은 시계열 변수 개수이고, $\tau$는 최대 time lag(Granger causality 고려 구간이다.
출력은 각 변수 $j$에 대한 예측값 $\hat{y_{t,j}}$이며, 예측 손실은 $L_{t,j}=(\hat{y_{t,j}}-y_{t,j})^2$이다.
예측 오차 $L_{t,j}$에 대해 입력 $x_{t',j}$에 대한 gradient 계산은 아래와 같다.
$G_{t,j}=\frac{\partial L_{t,j}}{\partial X_t}=> G_t \in \mathbb{R}^{N\times N\times \tau}$
즉, 변수 $i$가 $j$의 예측에 미치는 영향을 gradient로 정량화 한다.

Granger Causality Discovery

다음으로, GCAD는 gradient를 이용해 시계열 간의 비선형 Granger 인과성을 추출한다.
이를 위해 본 논문은 다음과 같은 정의를 내린다.

• 시계열 $x_i$가 $x_j$의 예측에 영향을 준다면, $f_j(input\ with\ x'_i)\neq f_j(input\ with\ x_i)$
  즉, $x_i$의 과거 값을 미세하게 바꿨을 때 $x_j$의 예측값이 변하면 $x_i -> x_j$관계가 존재한다고 정의한다.

따라서, perturbation을 $\Delta$라고 할 때,

이때의 gradient 절대값을 시간 구간 $[t-\tau, t-1]$에서 적분하면,

와 같이 나타낼 수 있고, 여기서 $A={a_{i,j}}$는 전체 Granger 인과성 행렬이다.
즉, 이 행렬의 각 원소는 변수 $i$가 변수 $j$를 Granger-cause하는 정도를 나타낸다.

Causality Graph Sparsification

gradient 기반 추론은 similarity 정보도 일부 포함되어 있어 양방향 엣지가 생길 수 있다.
따라서 비대칭성을 유지하고 노이즈를 제거하기 위해서 다음과 같이 처리한다.

이때, $\tilde{A}_{i,i} = A_{i,i}$ 이고, threshold $h$ 미만의 인과 값은 0으로 설정하여 sparsity를 부여한다.
결과적으로 얻는 $\tilde{A}$는 비대칭적이고 희소한 Directed Causal Graph이다.

Causal Deviation Scoring

테스트 시점에서의 인과 그래프가 정상 상태의 평균 인과 그래프와 얼마나 다른지 평가하여 이상 여부를 판단한다.
정상 인과 그래프 $A_{norm}$은 학습 후에 훈련 데이터에서 $n$개의 슬라이딩 윈도우를 다음과 같이 샘플링한다.

테스트 시점에서의 그래프들과 비교를 하기 위해 각 테스트 윈도우 $i$에서의 인과 그래프 $\tilde{A}_{test,i}$를 계산할 필요가 있다.

• Causal pattern deviation score:
  $Sc_i=\sum\frac{\tilde{A}_{test,i}-\tilde{A}_{norm}}{\tilde{A}_{norm}+\epsilon}$
• Temporal pattern deviation score
  $St_i=\sum\frac{diag(\tilde{A}_{test,i}-\tilde{A}_{norm})}{diag(\tilde{A}_{norm})+\epsilon}$
• Anomaly score
  $S_i=Sc_i + \beta St_i$
  이때, $\beta$는 시간적 패턴 가중치 조절 파라미터이다.

이와 같이, GCAD는 정상 데이터로 TSMixer 예측기를 학습하고, gradient 기반 Granger 인과성을 추정한다.
그 후, 정상 인과 그래프의 평균인 $A_{norm}$을 생성한다.

테스트 시점에서는 슬라이딩 윈도우 단위로 테스트 데이터를 처리하며, 각 윈도우에 대해 Granger 인과 그래프 $\tilde{A}_{test}$를 생성한다. $A_{norm}$과의 편차를 기반으로 이상 점수를 산출한다.

Experiment

dataset

perform

GCAD는 5개 데이터셋 중 4개에서 AUROC 기준 SOTA를 달성했다.
DAGMM과 USAD는 시계열 간의 관계성을 고려하지 않았기 때문에 낮은 성능을 보였고, GDN은 고정된 그래프 구조를 사용했기 때문에 시스템 변화에 적응하지 못하여 성능이 낮다.
GANF는 density 기반이므로 distriution shift가 심한 SMAP에서만 우수한 성능을 보였고, MEMTO는 메모리 기반 모델로, 소수 이상 데이터(MSL)에서는 강점을 드러냈다.

반면, GCAD는 비정상 상황에서의 인과 패턴 변화에 민감하게 반응함으로써 전반적으로 우수한 성능을 보였다.

SWaT과 SMD 데이터셋에서 ablation study를 진행한 결과이다.
Sparsification, Granger causality (gradient 사용 여부), 시간적 패턴 요소 (대각 성분)를 제거해가며 실험했다.
Granger causality를 제거하는 순간 성능이 급감하며, 이는 인과성이 핵심 기여임을 입증하는 포인트다.
시간 패턴 요소 또한 제거했을 때 성능이 하락하는데 대각 성분 또한 anomaly detect에 중요한 요소임을 알 수 있다.
Sparsification 제거 시, noise 때문에 PRC 성능이 낮아진다. 이는 인과 그래프 정제가 효과적인 방법임을 나타낸다.

Effect of Parameters

$\tau$ 값이 작을수록 짧은 시계열 패턴에 민감해지며, 클수록 장기 종속성을 포착 가능하다. 그러나 너무 크면 신호가 희석되어 단기 이상 탐지 민감도가 저하된다.

Sparsification Threshold (h) 값이 낮으면 noise까지 인과로 간주하여 false positive가 증가하고, 높으면 주요 인과만 남기므로 정보 손실로 인해 성능이 감소한다.

이와 같은 실험을 통해 적절한 $\tau$, h 값을 탐색하여 실험을 수행했다.

Case Study: SWaT dataset anomaly analysis

공격 시점은 P203, P205 펌프가 비정상 종료된 시점이고, HCI/NaOCI 주입 실패로 인한 이상이다.

• AIT202, AIT501: HCI 센서 -> 인과 패턴 급변
• FIT301, FIT503: 유량 센서 -> 다운스트림 연쇄 영향

Figure 3에서 색이 진할수록 이상 인과 패턴 변화가 크다.
시간별 anomaly score 변화도 함께 시각화 되었기 때문에 정상과 이상의 대비가 확실히 나타난다.
결과, 센서 단독 신호는 이상이 명확히 보이지 않지만, 인과 구조 변화는 뚜렷하게 포착됨을 알 수 있다.
이는 GCAD의 해석력(interpretability)와 설명력이 유의미함을 나타낸다.

Conclusion

이 논문에서는 Granger 인과성에 기반한 다변량 시계열 이상 탐지 기법(GCAD) 을 제안하였다.
GCAD는 시계열 변수들 간의 인과적 관계를 모델링하고, 딥러닝 예측기의 gradient 정보를 활용하여 시점별 동적 인과 그래프를 구성한다.
또한, sparsification 기법을 적용하여 인과 그래프를 정제하고, 인과 패턴의 변화량을 기반으로 이상 여부를 탐지한다.

5개의 실제 센서 기반 시계열 데이터셋에서 GCAD를 실험한 결과, 기존 주요 기법들과 비교해 더 높은 정확도와 해석 가능성을 보여주었으며,
특히 현실 시스템에서 발생하는 인과 구조의 변화를 효과적으로 포착함으로써 이상 상황의 조기 탐지에 강점을 보였다.

이번 연구는 Granger causality와 딥러닝을 결합한 최초의 시도 중 하나로서, 인과 기반 이상 탐지라는 새로운 관점을 제시하였다는 점에서 의미가 있다.
다만 현재 GCAD는 변수 간의 쌍(pairwise)의 인과관계만 고려하고 있어,
향후에는 세 변수 이상이 함께 상호작용하는 다변량 인과성 구조까지 확장하여 보다 복잡한 이상도 탐지할 수 있도록 발전시킬 계획이다.