[ICPADS 2022] Combating distribution shift for accurate time series forecasting via hypernetworks.

이 논문에서도 시계열 예측의 distribution shift문제를 해결하는 논문이다.

domain adaptation or generalization에서의 distribution shift 해결 방법들은 시계열 데이터에서는 통하지 않는다.

domain adaptation 과 domain generalization이 일반적인 distribution shift의 해결책이 된다.

1. domain adaptation : source와 target domain간의 차이에 초점을 맞춤
2. domain generalization : 다양한 source domain에서 일반화 가능한 모델을 학습하는 것.

—> 이 두가지 방식이 regression 에서는 적절하지 않다. 시계열 데이터의 분포는 계속 변화하기 때문에 비정상 시계열에서 여러 소스 영역을 정의하는 방법이 또한 간단하지 않아서 적절하지 않다고 한다.

RevIn은 instance-level normalization technique를 제안함으로써, 분포의 차이를 줄이려고한다.

Hyper Time Series Forecasting model 제안 : time-varying distributions을 학습한다. Hyper layer를 활용하여 distribution shift의 특성을 학습한다. + 정확한 예측을 위해 모델 parameter를 생성한다.

Hyper network : second network f를 위한 파라미터를 생성하는 네트워크 g를 말한다.

few-shot learning / continual learning / efficient parameter fine-tuning등에서 적용된다.

hyper network로 distribution shift를 풀려는 것은 처음이라고 함.

이 논문에서는 시계열 예측을 위한 모델인 Main Layer를 위한 weight를 hyper layer를 통해서 얻는다.

Hyper layer: historical sequences의 distribution 특징화하기 위해 학습한다.

학습된 distribution의 특징점들은 main layer의 weight를 생성하는데에 사용된다.

Main Layer : hyper layer를 통해 얻은 weight를 적용하고, attention mechanism을 통해서 weight를 조정한다.

실험 결과