https://arxiv.org/pdf/2406.12260

Introduction

• 최근 딥러닝 기술이 기존의 규칙 기반 방식을 대체하며 제조 공정의 이상 탐지 분야에서 촉망받는 방법으로 부상하였으나, 현실적인 산업 현장에서는 다음과 같은 세 가지 주요 데이터 문제가 발생
  1. 대량의 레이블 데이터를 수집하는 데 많은 시간과 자원이 소모됨
  2. 획득한 레이블이 investigator의 주관에 따라 편향될 수 있음
  3. 현대의 정밀한 공정에서는 이상 신호(failure modes) 자체가 매우 드물어 정상 데이터와 이상 데이터 간의 극심한 불균형이 발생
• 또한, 기존의 비지도 학습 방식들도 한계를 보이는데, 재구성 기반 방식은 단순히 일반적인 정보를 학습하느라 분류에 적합한 특징을 배우지 못하거나 이상치까지 재구성해버리는 문제가 있고, 예측 기반 방식은 단계별 예측 특성상 이상 패턴에 취약할 수 있음
• 이러한 한계를 극복하기 위해 본 연구에서는 Learnable Data Augmentation을 활용한 self-supervised learning 기반의 LATAD를 제안
  • Positive 샘플과의 상호 정보량은 최대화하고, negative 샘플과의 정보량은 최소화하여 저차원 공간에서 변별력 있는 특징을 추출
  • 고정된 변환을 사용하는 대신, 신경망 기반의 생성기를 통해 더 도전적이고 실질적인 이상치와 유사한 부정 샘플을 만들어 학습 효율을 높임
  • 다변량 시계열 변수 간 상관관계와 시간적 의존성을 동시에 융합하기 위해 시각과 특징 축 모두에 self-attention을 적용

---

Related Works

• DAGMM: Autoencoder로 벡터를 생성하고 이를 GMM에 입력하여 샘플 에너지를 측정
• USAD: 두 개의 autoencoder를 사용하여 적대적 학습 기법을 사용
• LSTM-VAE & OmniAnomaly: VAE를 시계열에 적용하여 데이터를 확률적으로 표현하고, 재구성 확률이 낮을 때 이상으로 간주
• MSCRED: 시공간적 의존성을 동시에 고려하기 위해 ConvLSTM과 Attention을 결합
• GDN & MTAD-GAT: 센서 간의 관계를 그래프 구조로 모델링. 특히 MTAD-GAT는 시간 및 기능 차원에서 복잡한 의존성을 학습하며, 예측과 재구성을 동시에 최적화
• THOC: Dilated RNN과 SVDD를 결합하여 사용

→ 저자들은 위 연구들이 공통적으로 latent space에서 잘 구분된 특징을 추출하는 것에 집중하지 않았음을 지적

→ 단순히 입력을 재구성하거나 다음 시점을 예측하는 데 초점을 맞추다 보니, 이상 신호까지 그대로 재구성해버리거나 장기적인 이상 패턴을 놓치는 문제가 발생

---

Proposed Method

A. Problem Formulation

단변량 시계열은 동일한 개체나 시스템에서 동시에 수집된 여러 개의 단변량 시계열로 구성

• 전체 시계열: $x \in \mathbb R^{d \times T}$로 표기하며, 여기서 $d$는 특징의 수, $T$는 전체 타임스탬프의 최대 길이를 의미
• 슬라이딩 윈도우: 긴 시계열을 효율적으로 처리하기 위해 고정된 길이 $W$를 가진 슬라이딩 윈도우를 사용하여 입력을 분할

시계열 이상 탐지의 궁극적인 목적은 전체 시스템 수준에서 이상을 감지하는 것

• 결정값: 모델은 모든 타임스탬프에 대해 결과값 $Y \in \mathbb R^T$를 생성해야 함
• binary label: 각 시점 $i$에서의 예측값 $y_i \in \{0, 1\}$은 해당 스탬프가 정상인지 이상인지를 나타냄

B. LATAD

Preprocessing

데이터 효율성을 높이기 위해 5단계의 전과정을 거침

• 수치 오류 수정, downsampling, min-max normalization을 수행
• 훈련 데이터의 이상치에 편향되지 않도록 IQR을 사용하여 이상치를 제거하고 보간하며, 최종적으로 슬라이딩 윈도우를 통해 샘플을 생성

Extracting Feature Representations

네 가지 모듈을 순차적/병렬적으로 결합하여 변수 간 상관관계와 시간적 의존성을 모두 포착

• 1-D Convolution: 데이터에 내재된 local features를 추출
• GAT (Graph Attention) & Transformer encoder: 병렬로 동작하며, GAT는 변수 간의 관계를 그래프로 모델링하고 Transformer는 시간 축상의 비인접 타임스탬프 간 기여도를 측정
• TCN (Temporal Convolutional Network): 위 모듈들의 출력을 결합(concat)하여 장기적인 시퀀스 패턴과 인과 관계를 캡처

Triplet-based Contrastive Learning

잠재 공간에서 앵커($z$), positive 샘플 특징 ($z^+$), negative 샘플 특징 ($z^-$) 사이의 거리를 최적화

• positive 샘플 ($x^+$): 시계열의 contextual smoothness를 활용하기 위해 temporal neighborhood 내에서 샘플링. 이는 ADF 테스트를 통해 신호가 정상성을 유지하는 범위를 자동으로 결정
• Learnable negative 샘플 ($x^-$): Fixed transformation 대신, 신경망 기반 생성기 $g_\phi$를 통해 입력 데이터에 마스크 $M_i$를 적용하여 실제 이상치와 유사한 도전적인 negative 샘플을 생성

C. Training Procedure

모델은 세 가지 목적 함수를 가중치 파라미터 $\lambda$로 균형을 맞추어 최적화

• $\mathcal L_{comp}$ (Feature compactness loss): Anchor와 positive 샘플 사이의 코사인 거리를 최소화하여 클래스 내 변동성을 줄여 데이터들이 잠재 공간에서 서로 가깝게 모이도록 유도
  

• $\mathcal L_{sep}$ (Feature separateness loss): Positive 쌍의 거리는 좁히고, negative 쌍의 거리는 멀어지게 하는 triplet margin loss 형태
  

• $\mathcal L_{reg}$ (Regularizer): Positive 샘플과 negative 샘플의 잠재 특징 분포 간의 KL divergence를 계산하여 생성기가 특징 추출기가 너무 쉽게 맞출 수 있는 가짜를 생성하지 못하도록 제한.

  • 즉, 생성된 negative 샘플이 정상 데이터의 분포 경계면에 머물게 하여 학습의 안정성을 유지

Two-player 적대적 학습과 유사하게, $\mathcal L_{sep}$와 $\mathcal L_{reg}$는 대조적으로 작용하며, $\lambda$는 탐색을 통해 0.1로 선택

D. Anomaly Score

기존 방식인 DAGMM이나 OmniAnomaly들은 주로 입력 데이터 자체를 재구성하거나 예측하여, 실제 값과 모델 출력값 사이의 오차를 이상 점수로 사용하나, LATAD는 입력 데이터 대신, 모델이 학습한 고차원 특징 벡터들이 정상 데이터의 특징 분포에서 얼마나 벗어나 있는지를 측정

1. 전체 훈련 데이터 중 대표성을 띠는 10%의 샘플을 추출
2. 이 샘플들의 특징 벡터에 대해 cosine similarity를 기준으로 k-means 클러스터링을 수행하여 중심점을 확보
3. 새로운 입력 $x$가 들어오면, 이의 특징 벡터와 가장 가까운 클러스터 중심 사이의 거리를 계산

---

Experiments

A. Datasets and Baselines

모델의 일반화 능력을 검증하기 위해 서로 다른 특성을 가진 5개의 real-world 벤치마크 데이터를 사용

• SWaT (Secure Water Treatment): 정수 처리 시스템 데이터로, 11일간 수집된 51개 센서 데이터를 포함하여 36번의 공격 시나리오 포함
• WADI (Water Distribution): 시수도 배분 시스템 데이터로 ,123개의 센서와 16일간의 기록을 포함
• MSL & SMAP: NASA 우주선의 모니터링 시스템 데이터로, 각각 화성 탐사선과 토양 수분 측정 위성에서 발생한 실제 이상 사례를 포함
• SMD (Server Machine Dataset): 28개 서버 시스템의 38개 센서 데이터로, 10일간의 기록 중 후반 5일에 주입된 이상 징후를 포함

B. Evaluation Metrics

• 표준 평가 지표로는 Precision, recall, f1-score를 채택

• Point Adjustment protocol: 시계열 데이터의 특성상 이상은 특정 기간(segment)동안 연속적으로 발생. PA 방식은 연속된 이상 구간 중 단 한 시점이라도 모델이 이상으로 감지하면, 해당 구간 전체를 맞춘 것으로 간주
  • 이 방식은 많은 연구에서 채택되었으나, 실제보다 성능이 과하게 높게 측정되는 경향이 있음
  • 따라서 단순 PA 방식 외에 $F1_{{PA}_k}$을 함께 사용하는데, 이상 구간의 $k\%$ 이상을 실제로 감지했을 때만 해당 구간을 정답으로 인정하는 방식

C. Experimental Results

• LATAD는 대부분의 시나리오에서 기존 SOTA 모델들과 대등하거나 능가하는 성능을 보임
• 특히 MSL, SMAP, SMD 데이터셋에서는 2위 모델을 큰 차이로 앞질렀으며, 5개 데이터셋 전체 평균으로 보면, 기존 최고 성능 대비 F1-score는 6.53%, $F1_{{PA}_{50}}$ 점수는 13.17% 향상

• 그래디언트 기반 기법을 통해 이상 징후의 원인이 되는 센서를 식별
• SWaT의 2015년 12월 31일 발생한 울트라필터 정수 차단 실패 사례에서, 모델이 지목한 상위 4개 센서가 실제 물리적 고장 흐름과 일치함을 확인

---

Discussions

A. Ablation Study

• GAT, TCN, Transformer 중 하나라도 제외할 경우 precision이 크게 하락
• $L_{comp}$가 없으면 recall이 떨어지고, $\mathcal L_{reg}$가 없으면 precision은 높지만 recall이 급감. 이는 특징 표현이 느슨하게 학습되어 모호한 이상치를 놓치게 됨을 의미

Discriminative Feature Representations

• 예측/재구성 기반인 MTAD-GAT는 정상과 이상 특징이 섞여 있는 반면, 대조 학습을 사용한 LATAD는 잠재 공간에서 정상과 이상 샘플이 명확하게 구분됨

Dependency and Data Characteristics

• SWaT은 센서 간 상관관계가 높지만, MSL은 변수들이 독립적
• LATAD는 상관관계가 낮은 데이터에서도 강한 성능을 보임

• MSL처럼 훈련 데이터에 이상치가 섞인 경우, 재구성 기반 방식은 성능이 39% 하락
• 장기적 맥락의 이상치가 많은 데이터에서 예측 기반 방식은 성능이 55% 하락하는 반면, LATAD는 견고함을 유지