[ICLR 2023] MICN: Multi-scale Local and Global context modeling for Long-term Series Forecasting

이때까지의 연구와 문제점

기존의 transformer 기반의 long-term 시계열 예측의 attention mechanism이 high complexity라는 것 + long-term time series forecasting에서 많은 논문들이 그렇듯이 global correlation만을 중요시 생각한다.
그래서 이 논문에서는!

해결방안 : local feature/ global correlation을 전부 사용하려고함. 시계열의 기본 정보를 완전히 활용하기 위해서 multi-scale branch structure을 채택하여, 잠재적 패턴을 모델링함. local feature를 위해서는 down-sampled convolution, global correlation을 위해서는 isometric convolution을 사용한다.

1. convolution based framework 라는 점 : 기존의 시계열은 대부분 convolution연산을 하지 않아 왔기 때문에 나름대로 강점 포인트라고 할 수 있다. trend cyclical part/ seasonal part 이렇게 두개를 나누어서 예측함.
2. seasonal-prediction block : 서로 다른 스케일을 사용하여 잠재적으로 서로 다른 패턴에 대한 sequence mining?. 각 패턴은 local/global 이렇게 두 관점에서 각각 모델링 된 결과를 사용한다.
3. isometric convolution이 제안된 self-attention보다 우수함. isometric convolution이 짧은 sequence에 대한 global correlation을 캡쳐하기 때문에 !.

어떻게?

MHDecomp : 시계열 분해기법을 사용함. multi-scale hybrid decomposition algorithms blcok을 사용해서 복잡한 시계열을 분리한다. 기존의 시계열 분해 기법이 moving average 같은 것을 사용했다면, 여기서는 average pooling method 를 사용한다. (Trend를 추출하기 위해서.) 특히, FEDFormer의 MOEDecomp와의 차이는 feature을 학습하기 전에 각 패턴의 가중치를 결정할 수 없기 때문에 단순한 평균 연산을 사용하여, 이러한 패턴을 통일한다. feature reresesntation 이후에 seasonal-prediction의 병합 부분에 이 가중치를 넣어줌. 단순하게 말하면, avgpool의 mean이라는 듯
Seasonal-prediction Block : 분해된 시계열을 사용해서 seasonal information을 예측한다.
1. multi-scale Isometric convolution 이 여기서 사용됨. 이걸 사용하는 이유는 local feature와 gloabl correlation을 포착하고 다양한 스케일의 분기가 시계열의 다양한 기본 패턴을 모델링한다. 특히, isometric convolution은 로컬 특정 정보를 융합하여 시퀀스의 순차적 추론이 가능하다.
Trend-cyclical prediction Block : 분해된 시계열을 사용해서 trend information 예측함. 이 논문에서는 Autoformer를 물고 늘어진다. Autoformer에서 trend들을 쭉 더하는 부분이 있는데, 이 부분에 대해서 (trend들을 다 더하는 것에 대해서) 설명이나 효과, 증거가 없다. 하지만, 이 논문에서는 trend예측을 수행하며, non-stationary series forecasting task에서도 추세 순환에 대한 간단한 모델링이 필요하다는 것을 보여줌. [이 부분에서는 그냥 regression을 함.]

소감

구조 자체는 간단하다. 시계열 분해하고 각각의 block의 output을 더해서 prediction 생성함. 여기서 관전 포인트는 각각의 block이 하는 역할, 이게 LTSF-Linear랑 뭐가 다른지. 봐야함.