Motivation

• DL을 활용한 시계열 예측에 관한 연구가 활발히 진행되고 있는 가운데, LSTM/RNN계열 모델에서 TCNs과 Transformer 기반의 모델이 주류가 되고 있다. 최근 CV & NLP 영역에서의 표현학습의 성공의 영향으로 시계열 예측 분야에서도 표현학습이 도입되고 있다.
  이러한 흐름에서 본 논문은 시계열 예측에 더 유용한 Disentangled Seasonal-Trend Representation을 학습하는 새로운 Framework인 CoST를 제안한다.

Contribution

1. 인과적 관점을 통해 Contrastive learning을 통한 Time series forecasting을 위한 Seasonal-trend representation 학습의 이점을 보여준다.
2. 모델의 Inductive bias를 활용하여 분리된 Seasonal 및 Trend 표현을 학습하고 차별적인 Seasonal representaiton을 장려하기 위해 새로운 주파수 영역 Contrastive loss를 통합하는 Time series representation approach를 제안한다.
3. CoST는 실제 Benchmark에서 기존의 State-of-the-art 방식을 상당한 차이로 능가한다. 또한, 제안된 각 Module의 이점을 분석하고 광범위한 Ablation study를 통해 제안된 모델이 Backbone Encoder와 Downstream regressor의 다양한 선택에 있어서 강력하다는 것을 입증한다.

Seasonal-trend representations for Time series

Problem Formulation

• 본 논문에서는 시계열 예측을 수행할 때 한가지의 함수를 통해 시계열의 Representation과 Prediction을 한번에 학습하는 것이 아니라 예측 성능을 높이기 위해 Feature representations 학습에 집중한다.
  m-dimensional raw signals를 d-dimensional laten space로 mapping하는 방식으로 Feature representation을 학습한 후, 마지막 Timestamp의 vh를 regressor에 입력하여 예측을 수행한다.

Disentangled Seansonal-trend representation learning

• 시계열의 복잡한 양상은 여러 개의 소스의 상호작용으로부터 만들어지기 때문에 좋은 Representation은 다양한 source를 분리하여 variation으로부터 robust해야한다.
  이를 위해 본 논문에서는 시계열의 Structural prior를 활용한다.
  따라서 관측치 X는 예측할 수 없는 noise인 Error를 포함하기 때문에 error-free latent variable X^를 학습하는 것을 목표로 한다. 여기서 Independent mechanism의 가정에 의해 Seasonal과 Trend module이 서로 영향을 미치지 않음을 가정하여 학습이 진행된다.
  그러나, X^를 구하기엔 무리가 따르므로 본 논문에서는 Contrastive learning을 활용하여 X^를 학습하고자 한다.

  Structural prior

  
  위 그림과 같이 관측된 Time series data가 Error와 X^로 생성된다고 가정하며, X^는 T와 S에 의해 생성된다고 가정한다. 따라서 T와 S에만 의존하는 새로운 X의 표현인 X^을 발견할 수 있다면 최적의 예측을 달성할 수 있다.

Proposed model

• CoST는 Disentangled seasonal-trend representations를 학습하며 각 time step마다의 seasonal과 trend component의 Disentangle된 Representation을 학습한다.

Backbone Encoder

데이터를 Latent space로 Mapping할 때 사용되는 Encoder로 Temporal Convolution Network를 사용하였다.

Trend Feature Disentangler

• Time series의 trend를 파악하기 위해 Autoregressive model이 널리 쓰였지만 과거의 몇 시점을 반영해야 하는가를 결정하는것에 대한 어려움이 있다. 그리하여 본 논문에서는 Mixture of auto-regressive experts를 활용하여 다양한 길이의 lookback window를 학습에 반영하도록 하였다. Discriminative한 trend representation 학습을 위해 Time domain에서의 contrastive loss를 사용한다.

Architecture

• L+1개의 autoregressive expert로 이루어졌으며 autoregressive expert로 1D CausalConv를 사용하였다. Disentangler의 output으로 hXT 차원의 최종 Trend representaion을 도출하기 위해 Average-pooling을 수행한다.

Seasonal Feature Disentangler

• Time series의 Seasonality를 추출하기 위해 Learnable Fourier layer를 사용한다.
  서로 다른 seasonal pattern 사이에서 구분되는 representation을 학습하기 위해 Frequency domain에서 contrastive loss를 계산한다.
• 이때, Frequency에 대한 augmentation은 error가 끼어든 것으로 볼 수 있기 때문에 seasonal information 자체는 변하지 않으므로 Frequency domain의 contrastive loss는 주어진 frequency의 주기적 패턴간 차이에 대응된다.
• Frequency representation의 단순화를 위해 각 frequency의 amplitude와 phase로 분해하여 loss 계산

Architecture

• Backbone encoder로부터 얻은 Intermediate feature를 Frequency domain으로 mapping하기 위한 Discrete Fourier Transform layer와 Learnable Fourier layer, Inverse DFT layer로 구성된다.

Experiments

Multivariate forecasting results

• 제안 방법론은 대부분의 실험에서 state-of-the-art의 성능을 달성
• end-to-end forecasting approach와 representation learning 모델들과 비교했을 때 우수한 성능을 보임

Conclusion

• Contrastive learning을 통한 Disentangled seasonal-trend representation을 학습하는 방법론을 제시하였고, Time domain과 frequency domain의 contrastive loss를 활용하여 구분 가능한 representation을 학습하고자 하였다.
• Multivariate와 Univariate time series forecasting에서 모두 기존 방법론을 능가하는 성능을 보였고 Bacobone encoder와 regressor에 Robust한 성능을 보였다.

출처 : Woo, G., Liu, C., Sahoo, D., Kumar, A., & Hoi, S. (2022). CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting. arXiv preprint arXiv:2202.01575.