[DL/AD]ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY

📄 참고

• https://www.youtube.com/watch?v=C3dphckvyn0

📄 원문

• https://arxiv.org/abs/2110.02642v5

Abstract

시계열 이상 탐지는 복잡한 dynamic 특성을 다뤄야 하므로 기존의 pointwise(포인트별) 표현이나 pairwise 연관성 학습만으로는 부족함.

Transformer는 pointwise 표현과 연관성을 통합적으로 모델링할 수 있음. 각 시점의 self-attention 가중치 분포가 전체 시계열과의 풍부한 연관성을 담고 있음을 발견했음.

이상치는 드물게 발생하기 때문에 전체 시계열과의 연관성을 발견하기 어려움. 따라서 이상치의 연관성은 주로 인접한 시점에 집중됨.

이러한 인접한 시점에 집중된 편향은 이상치를 판별하는 연관성 기반 기준이 될 수 있음. 따라서 이를 기반으로 Association Discrepancy(연관성 차이)를 이용해 정상과 이상 포인트를 구분할 수 있음을 발견함. 이를 위해 Anomaly Transformer를 제안하고, 새로운 Anomaly-Attention 메커니즘과 minimax 전략을 사용해 이상 탐지 성능을 극대화함. Anomaly Transformer는 3가지 application에서 SOTA를 달성함.

Introduction

이상치는 드물고 발견하기 힘들기 때문에 현실에서 데이터 라벨링을 하는 것은 비용적으로 감당하기 힘들어 비지도 학습의 환경에서 시계열 이상 탐지를 하고자 함.

비지도 기반의 고전적 이상 탐지 방법들로는 LOF같은 밀도 추정 방법, OC-SVM과 SVDD 같은 클러스터링 방법들이 존재함. 그러나 이러한 고전 방법들은 시간 정보를 고려하지 않고, 처음 보는 실제 상황에 대한 일반화 능력이 부족함.

최근 딥러닝을 통한 표현 학습으로 좋은 성능을 달성하기도 하였음. 주로 RNN을 통한 포인트별 학습하고, reconstruction을 통해 self-supervised 학습을 하였음.

하지만 이상치가 드물기 때문에 포인트별 학습은 복잡한 시간 패턴에 대한 충분한 정보를 주지 못하고, 정상 시점에 압도되기에 이상치를 구별하기 어려움. 또한 reconstruction error는 포인트별로 계산되어 시간적 문맥에 대한 포괄적 설명 제공이 불가함.

reconstruction error

• 시계열 데이터의 이상 탐지에서 자주 사용되는 개념으로, 재구성 오류를 의미
• 이는 모델이 입력 데이터를 기반으로 해당 데이터를 재구성(reconstruct)한 후, 원본 데이터와 재구성된 데이터 간의 차이를 계산하는 방식
• 정상 데이터의 경우 재구성된 값과 실제 값의 차이가 작겠지만, 이상치의 경우 재구성이 어렵기에 재구성 오류가 크게 발생함 → 이상치 감지 기준으로 활용

또다른 주요 방법들로는 명시적인 연관성 모델링을 기반으로 하였음. 그러나 이런 고전 방법들은 세밀한 연관성을 포착하는 것이 어려웠음.

따라서 이런 한계들을 극복하기 위해, 이 논문은 transformer를 비지도 시계열 이상 탐지에 적용하고 연관성 학습을 위한 Anomaly Transformer를 제안함.

< 요약 >

• Prior-association(local)과 series-association(global)을 동시에 모델링하여 Association Discrepancy(연관성 차이)를 구현하는 Anomaly-Attention 메커니즘을 갖춘 Anomaly Transformer를 제안
• Association Discrepancy의 정상-비정상 구분 가능성을 증폭시키고, 새로운 연관성 기반 탐지 기준을 도출하기 위해 MiniMax 최적화 전략을 제안
• Anomaly Transformer는 3가지 실제 응용에서 6개의 벤치마크에서 최신의 이상 탐지 성과를 달성하였으며, 광범위한 소거 실험 및 통찰력 있는 사례 연구가 제공됨

Related Work

1. UNSUPERVISED TIME SERIES ANOMALY DETECTION
   
2. TRANSFORMERS FOR TIME SERIES ANALYSIS

Method

💡비지도 시계열 이상 탐지의 핵심은 유용한 표현을 학습하고 구별 가능한 기준을 찾는 것
더 유용한 연관성을 찾아내고, Association Discrepancy(연관성 차이)를 학습함으로써 이 문제를 해결하고자 Anomaly Transformer를 제안
이 Association Discrepancy는 본질적으로 정상과 비정상을 구별할 수 있음
기술적으로, Anomaly-Attention 메커니즘을 제안하여 prior-association(우선 연관성)과 series-association(시리즈 연관성)을 구현하며, 더 구별 가능한 Association Discrepancy를 얻기 위한 MiniMax 최적화 전략을 사용
이 아키텍처와 함께 설계된 우리는 학습된 Association Discrepancy에 기반하여 연관성 기반 기준을 도출

1. Anomaly Transformer

< Overall architecture >

(1) prior-association (2) series-association (3) minimax / (4) anomaly attention block

< Anomaly-Attention >

• prior-association

  • 상대적인 시간적 거리와 관련하여 학습 가능한 가우시안 커널을 사용
  • 가우시안의 특성 덕분에 이는 인접한 시간 영역에 본질적으로 더 많은 attention이 가능함
  • 또한 가우시안에 학습 가능한 스케일 파라미터(σ)를 사용하여, 우선 연관성(prior-association)이 다양한 시계열 패턴, 예를 들어 다른 길이의 이상치 구간에 적응할 수 있도록 함
    

• series-association
  - 원 시계열에서 연관성을 학습하여 가장 효과적인 연관성을 적응적으로 찾음
  
  이 두 연관성 포착 방식은 각각의 시점의 시간적 의존성을 유지하며, 이는 더 유용한 정보를 제공함. 또한 이들은 각각 인접 집중 우선(prior)과 학습된 실제 연관성(association)을 반영하며, 이들의 차이는 정상과 비정상을 구별할 수 있는 기준이 됨
  
  < Association Discrepancy >
  

• 정상 시점에서는 차이가 작고, 비정상 시점에서는 차이가 큼
  
  
  2. MINIMAX ASSOCIATION LEARNING
  

< Minimax Strategy >

• Minimize phase
  - prior-association이 series-association과 가깝게 맞춰지도록 함(approximation)
  - 이 과정에서 prior-association은 다양한 시간적 패턴에 적응할 수 있도록 학습됨
  - 이 단계는 Gaussian 커널을 사용해 인접한 시점들 간의 연관성을 학습하고, 연관성 차이를 줄이는 방향으로 동작
  
• Maximize phase
  - series-association이 prior-association과의 연관성 차이를 키우도록 최적화
  - 즉, series-association은 비인접한 시점에 더 많은 주의를 기울여 연관성 차이를 크게 만듦
  - 이 과정에서 정상 시점에서는 reconstruction loss(재구성 오류)가 적게 발생하지만, 비정상 시점에서는 더 큰 오류가 발생하도록 유도
  
  < Association-based Anomaly Criterion >

• -AssDis
  • (-를 붙임으로써)정상일 때 값이 작고, 비정상일 때 값이 크다
• Reconstruction loss
  • 시계열 데이터를 모델이 얼마나 정확하게 재구성할 수 있는지를 측정
  • 따라서 정상 데이터는 모델이 재구성하기 쉬운 반면 비정상 데이터는 재구성 오류가 크게 나타남

Experiments

1. Dataset
   
2. Results - Quantitative results, precision/ recall / F1-score
   
   
   
   이전 모델들이 잡아내지 못하는 이상치를 Anomaly Transformer가 잡아내는 것을 볼 수 있음