1. 논문 정보

• TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis
  -> TimesNet: 일반적 시계열분석을 위한 2차원 시간-변수 변동 모델링 기법

• In International Conference on Learning Representations (ICLR 2023). arXiv:2210.02186.

• Z. Qin, Y. Zhang, Z. Li, Y. Liu, J. Yan, W. Zhang, and X. Yang(Tsinghua University, Shanghai Jiao Tong University, SenseTime Research, Shanghai Jiao Tong University)

• 깃허브

2. 요약

• 기존의 방법들은 1차원으로 시계열 분석을 시도했다, 그리고 이는 복잡한 시간적 패턴들에 의한 한계가 존재했다.
• 시계열의 복잡한 패턴을 2차원으로 기간 내부(intraperiod)와 기간 간의 변동(interperiod)로 분리해서 해석했다.(1차원의 시계열을 2차원 텐서로 변환)
• 범용적으로 사용가능한(task-general backbone) 시계열분석을 위한 TimesBlock을 가진 TimesNet모델을 제안한다.
• 단기 및 장기 예측, 결측치 보간, 분류, 이상 탐지 등 5가지 주요 시계열 분석 과제에서 일관된 최고의(State-of-the-Art) 성능이 나왔다.

3. INTRODUCTION

• 시계열 데이터는 비디오, 영상 데이터와 달리 몇 개의 숫자에서 지속성, 주기성, trend 속성을 가진 시간적 변수(temporary variation)가 추가된다.

• 실제로는 이외에도 다변량의 여러 복잡한 시간적 패턴이 포함된다.

• 이러한 문제를 해결하기 위해 여러 모델이 사용되었다.

  RNN(recurrent neural networks):
  긴 시계열 학습의 한계
  순차 계산 방식으로의 병렬화 불가능
  TCN(Temporal Convolutional Network):
  시간 축을 따라 1차원 CNN을 적용하여 처리,
  국소성(Locality)으로 장기 의존성 학습 한계
  Transformer 기반:
  전체 시점 쌍 간의 관계를 attention으로 학습
  시간 순서가 산개되어 있을 때, 패턴이 명확하지 않아 의존성 학습이 어려움
  높은 계산비용($O(n^2$))

• 해당 논문에서는 다중 주기성의 새로운 차원에서 분석을 진행함.

• 두 가지 시간적 변동 유형을 기간 내 변동과 기간 간 변동으로 나누어 정의하였음

  • Intraperiod-variation: 한 주기 내의 단기적 시간 패턴
  • Interperiod-variation: 여러 연속된 주기 간의 장기적 추세를 반영

(Interperiod-variation의 명확하지 않은 경우, Intraperiod-variation의 무한한 주기 길이라고 할 수 있음)

• 실제로 두 가지에 대한 변동을 반영하기에 1차원 시계열으로 표연이 힘들기 때문에 2차원 텐서로 재구성을 통해 공간을 확장한다.

• TimesBlock을 통해 강화된 TimesNet은 학습된 주기를 기반으로 1차원 시계열을 2차원 텐서집합으로 변환할 수 있다.

• TimesNet은 단기 및 장기 예측, 결측값 보간(imputation), 분류(classification), 이상 탐지(anomaly detection)를 포함한
  5가지 주요 시계열 분석 작업에서 일관되게 최고의(state-of-the-art) 성능을 달성하였다.

• 이 연구를 통해 3가지 기여를 할 것이다.

  1) 1차원 시계열을 2차원 공간으로 변환하면서 두 가지 변동을 동시에 표현할 수 있다. -> 다중주기성과, 변동 간의 상호작용으로부터 시간적 변동을 모델링하는 모듈화된 방법을 제시한다.
  2) TimesBlock을 통해 2차원 텐서에서 시간적 2차원 변동을 효율적인 파라미터 인셉션을 이용해 포착하는 TimesNet을 제안한다. -> 복잡한 시간적 패턴을 자동으로 분해하고, 효율적으로 학습할 수 있는 구조를 설계한다.
  3) 다섯 가지 시계열 분석작업에서 일관된 최고의 성능을 달성한다. 다양한 시계열 작업에 범용적으로 적용가능하도록 한다.

4. RELATED WORK

5. TimesNet

• 시계열의 다중 주기성을 기반으로, 서로 다른 주기에서 기인한 시간 패턴을 밝히기 위해서 TimesNet을 제안한다.
• 두 가지 변동을 모두 고려하기 위해 TimesBlock을 설계했다.
• 1차원 시계열을 2차원 공간으로 반환하고, 파라미터 효율적 인셉션 블록(a parameter-efficient inception block)을 통해 두 가지 유형의 변동을 동시에 모델링한다.

5.1 TRANSFORM 1D-VARIATIONS INTO 2D-VARIATIONS

5.2 TIMESBLOCK

6. EXPERIMENTS

• 다섯 가지 분야에서의 실험을 진행했다.
  • short-term forecasting(단기간 예측)
  • long-term forecasting(장기간 예측)
  • imputation (결측 보간)
  • classification(분류)
  • anomaly detection(이상치 탐지)

• 실험에 사용한 벤치마크 요약은 다음과 같다.
  

• 대조 모델:

  • RNN-based: LSTM, LSTNet, LSSL
  • CNN-based: TCN, LightTS, DLinear
  • Transformer-based: Reformer, Informer
    , Pyraformer, Autoformer, FEDformer, Non-stationary Transformer, ETSformer
  • etc: N-HiTS, N-BEATS(short-term forecasting) / Anomaly Transformer, Rocket, Flowformer(classification)

6.1 MAIN RESULTS

• 왼쪽: 5가지 부문에서의 성능지표가 대조 모델에 대비해 모두 우수한 성능을 보였음
• 오른쪽: 여러 비전 백본(vision backbones)에서 출력된 시계열 형태의 데이터을 입력으로 받았을 때 일관적으로 좋은 성능을 보였음

6.2 SHORT- AND LONG-TERM FORECASTING

Setups & Results:

• Long-Term Forecasting: Autoformer(2021), ETT(2021), Electricity(UCI), Traffic
  (PeMS), Weather (Wetterstation), Exchange (Lai et al., 2018) and ILI (CDC)
  
• Short-Term Forecasting: M4 (Spyros Makridakis, 2018)
  

6.3 IMPUTATION

Setups & Results

• ETT (Zhou et al., 2021), Electricity (UCI) and Weather (Wetterstation)
• {12.5%, 25%, 37.5%, 50%} 비율로 데이터를 마스킹
  

6.4 CLASSIFICATION

Setups & Results:

• 10 multivariate datasets from UEA Time Series Classification Archive (Bagnall et al., 2018)
  

6.5 ANOMALY DETECTION

Setups & Results

• SMD (Su et al., 2019), MSL (Hundman
  et al., 2018), SMAP (Hundman et al., 2018), SWaT (Mathur & Tippenhauer, 2016), PSM (Abdulaal
  et al., 2021)
• Anomaly Transformer (2021)에서 사용된 전처리 방식(sliding window(non-overlapping))으로 세그먼트 분할
• 이상 탐지 기준: 재구성 오차(reconstruction error)
  

6.6 MODEL ANALYSIS

Representation analysis

• 예측 및 이상 탐지에서의 성능은 CKA 유사도(2019)와 양의 영향성을 띄고, 분류와 결측보간은 음의 영향성을 띈다.
  

Temporal 2D-variations

• period(주기): 패턴이 반복되는 간격
• frequency(빈도): 시간 내에 패턴이 반복되는 횟수

7. CONCLUSION AND FUTURE WORK

• TimesNet은 다양한 구조의 시계열 분석에 일관된 성능으로 적용 가능한 모델이다.
• 다중 주기성을 기반으로 데이터를 2차원으로 확장하며, intra-/inter-period 변동을 모듈형 인셉션 블록으로 효율적인 분석이 가능하다.
• 5가지 시계열 분석 분야에서 높은 성능과 범용성을 띄었다.
• 대규모 사전학습 기반 시계열 연구를 확장할 계획이다.