Abstract
- MTS의 dependencies와 dynamics를 파악하기 힘듦.
- multi-grained contrasting methods를 사용한 CAE-AD 제안
- temporal dependency를 파악하기 위해 → contextual cotrasting method
2.time-domain and frequency-domain data augmentation
- local invariant 특징을 학습하기 위해 → instance contrasting method
1. Introduction
- 비지도 학습을 이용한 MTS에서의 이상 탐지를 목적으로 함.
- 하지만, temporal dependency and dynamic variability 때문에 어려움을 겪음.
- 본 논문에서는, MTS에서의 이상 탐지를 위한 contrastive autoencoder를 제안함.
- 대조 학습은 다양한 도메인에서 transformation-invariant representation을 학습함.
3. Methods
![](https://velog.velcdn.com/images/yetsyl0705/post/b4b9f504-b8f1-4607-b2a6-cd6f872ce600/image.png)
3_1. Preprocessing
normalization -> sliding window (temporal dependency 파악을 위해)
![](https://velog.velcdn.com/images/yetsyl0705/post/741fd3f9-bd1a-4f83-b6e9-13c5d04ddd39/image.png)
3_2. Projection Layer
- 기존 시계열 augmentation을 위해서는 cropping, flipping, jittering 같은 방법이 사용됨.
- 그러나, 이는 시계열의 특성을 해칠 수 있기에, 적절하지 않음.
- 따라서 projection layer를 사용함.
- 또한 temporal dependency를 파악하기 위해 projection layer로 attention mechanism을 도입함.
- 이때 마스킹을 통해 미래 값을 가려줌.
![](https://velog.velcdn.com/images/yetsyl0705/post/97eb9f5f-8d38-4447-be65-41d89954ffe4/image.png)
3_3. Contextual Contrasting
- attention mechanism을 거치고 나온 embeddings는 position information을 포함하지 않음.
- 따라서 position information을 포함하기 위해, contextual contrasting을 제안함.
![](https://velog.velcdn.com/images/yetsyl0705/post/1dd28ff0-841d-4ea6-b032-11bdcdd96e72/image.png)
- embedding at는 이웃 타임스텝인 at−1과 at+1과 높은 유사성이 있을 것이라는 가정하에 진행
3_4. Data Augmentation
[Time Domain]
[Frequency Domain]
- 2차원 DFT를 수행한 후, amplitude spectrum A(u,v)과 phase spectrum /theta(u,v) 각각에 Gaussian noise를 더함.
![](https://velog.velcdn.com/images/yetsyl0705/post/90e0c712-af74-4f27-998e-8d87c2087e7b/image.png)
![](https://velog.velcdn.com/images/yetsyl0705/post/8446f9c0-043e-4f36-a5f5-324cc657019c/image.png)
3_5. Instance Contrasting
- 증강된 데이터가 LSTM siamese encoder로 전달됨.
- 이후 같은 window에 있는 데이터는 positive pair로, 다른 window에 있는 데이터는 negative pair로 대조학습 진행
![](https://velog.velcdn.com/images/yetsyl0705/post/5f305bee-6285-4178-8ac0-ce7ac15e2ad1/image.png)
3_6. LSTM Decoder
![](https://velog.velcdn.com/images/yetsyl0705/post/a0d18805-a3e7-4f15-b2f5-963a3c7709f5/image.png)
- 처음에는, latent variables를 concat한 뒤 LSTM cell에 적용함.
- 이후부터는, (t-1)시점에 재복원된 데이터와 t시점의 hidden state를 concat하여 사용함.
![](https://velog.velcdn.com/images/yetsyl0705/post/47a61ccd-ff35-422e-8201-a77147d6570e/image.png)
[최종 Loss]
![](https://velog.velcdn.com/images/yetsyl0705/post/e66c8455-de77-4eda-907c-baf4a901f9f5/image.png)
4. Experiments
[데이터 설명]
![](https://velog.velcdn.com/images/yetsyl0705/post/c7f18665-07ab-43e8-ac32-a9b31f040ce2/image.png)
[성능 평가]
![](https://velog.velcdn.com/images/yetsyl0705/post/16097ee7-1471-4aae-b71e-65d0c93f5db5/image.png)
[이상 탐지 성능 평가]
![](https://velog.velcdn.com/images/yetsyl0705/post/792377e9-ce2d-4716-ac62-7716dbe6e1d4/image.png)
[Ablation Study]
: contextual contrasting과 instance contrasting의 효과 입증
![](https://velog.velcdn.com/images/yetsyl0705/post/6693bcb4-59eb-49ed-bb64-3c8527b32d1c/image.png)
[Parameter Sensitivity]
![](https://velog.velcdn.com/images/yetsyl0705/post/28790bc3-deb6-42b4-9e6a-7f020a9a6c75/image.png)
[Visualization]
![](https://velog.velcdn.com/images/yetsyl0705/post/173fc862-550b-4cf0-8d62-30dd457aa815/image.png)
5. Discussion
- MSE loss가 이상치에 민감함 -> 따라서 대조학습이 invariant information을 학습할 수 있는 것임.
- 그렇다면 contrastive loss만 사용하는 것이 충분할까?
- xt와 zt간의 mutual information는 강한 상관관계가 있기 때문에, xj가 positive sample로 잘못 분류될 수 있음.
- MSE Loss를 추가함으로써 이를 해결할 수 있음.
- 즉, contrastive loss만으로 정상 패턴을 학습하기에 충분하지 않음.