논문 정보: A Comprehensive Survey of Deep Learning for Time Series
Forecasting: Architectural Diversity and Open Challenges
New Exploration of TSF Models
Overcoming Limitations of Transformer
Tranformer은 NLP을 위해 만들어진 모델으로, TSF에 적용하기 위해서 몇 가지 고려사항이 있음.
- NLP에 비해 개별 시점의 데이터 포인트가 서로 유사해 정보량이 적어 예측에 제한
- MTSF분야에서 채널간 관계에 대한 복잡성(채널 간 상관관계 포착 한계)
- endogenous variables(내생 변수)만으로 미래 예측을 하기 힘듦
해당 고려사항들을 중점으로 Transformer 기반 모델이 연구됨.
Patching Technique
해당 방식은 시계열 데이터의 정보량에 관련된 문제를 개선하려는 방식으로, 기존 TSF에서 기존 선형 모델보다 높은 성능을 기록했다.
1) 방식:
입력 시퀀스를 여러 개의 패치 단위로 나누는 방식.
-> locality 강화, 연산비용(self-attention) 감소
2) 관련모델:
- PatchTST(Nie et al., 2023): 시계열 데이터를 64개의 패치로 분할
- MTST(Zhang et al., 2024e): PatchTST에서 다양한 스케일(지역적 정보 + 장기 추세 정보)의 패턴을 효과적으로 학습하는 방식(multi-scale)
- PETformer(Lin et al., 2024c): PatchTST 작동방식(인코더 출력 평탄화)을 개선한 모델(placeholder-enhanced 기법)
Cross-Dimension
다음은 채널간 관계에 대한 복잡성을 개선하는 모델에 대한 연구임.
1) 방식:
- 변수들 간의 상관관계 고려, 시간적 요소와 변수 간 관계를 동시에 직접적으로 모델링
2) 관련 모델:
- Crossformer(Zhang and Yan, 2023): Two-Stage Attention(각 변수의 시계열을 패치 단위로 분할, 2D 벡터 형태로 임베딩하여 attention
-> 계층적 스케일(hierarchical multi-scale) 구조로 다변량 시계열 예측 성능을 크게 향상(double sampling) - DSformer(Yu et al., 2023): Crossformer의 미흡한 local information을 개선한 모델
- CARD(Wang et al., 2024b): Crossformer의 계층적 메커니즘을 개선한 모델(경량화된 token blend module, robust 손실 함수) - iTransformer(Liu et al., 2024c): 시간 차원과 변수 차원을 뒤바꾼 학습방식(기존 Transformer 구조 변경 X)
- VCformer(Yang et al., 2024b): 변수 간 상관관계에 존재하는 시간 지연(time lag)을 고려한 모델
- GridTST(Cheng et al., 2024c): 시계열 데이터를 grid 형태로 변환 후 attention 적용(기존 Transformer 구조 변경 X)하여 상관관계 파악
- UniTST(Liu et al., 2024b): 패치 토큰을 평탄화한 방식(unified attention 메커니즘)
- DeformTime(Shu and Lampos, 2024): deformable attention을 적용해 중요한 데이터 특징을 인식하여 이에 맞춰 조정하는 방식
Exogenous Variable
다음은 내생변수에 관련된 모델의 문제를 개선하는 연구이다.
1) 방식:
- endogenous + exogenous 변수를 모델에 통합하여 예측력을 강화하는 방향으로 연구 진행
2) 관련 모델:
- TimeXer(Wang et al., 2024c): variates token(내생변수 + 외생변수) 생성 후, cross-attention 메커니즘을 통해 학습하는 방식
-> 내생변수의 시간적 패턴 및 외생변수에 미치는 영향 고려, 하지만 적절한 외생변수를 직접 선정해 입력해야 함. - TGTSF(Xu et al., 2024b): 텍스트 데이터(채널 설명, 뉴스 메시지)를 시계열 모델에 통합, 각 채널에 텍스트 정보가 얼마나 관련 있는지 계산
-> 예측정확도 향상 및 텍스트 정보가 예측성능에 얼마나 기여하는지 직접 비교 및 분석
Additional Approaches
다음은 위 세 가지 접근 방향 이외에 방법으로 TSF를 연구한 것들에 대한 정리임.
1) Generalization:
- SAMformer(Ilbert et al., 2024): self - attention + SAM(Sharpness-Aware Minimization)을 적용한 방식
- Minusformer(Liang et al., 2024b): 부스팅 앙상블을 통한 파라미터 수를 줄여 일반화 능력 향상
2) Multi-scale:
- Scaleformer (Shabani et al., 2023): 여러 스케일에서 기존 모델들을 쌓아올리는(stacking) 일반적 프레임워크
- Pathformer (Chen et al., 2024b): 고정된 스케일 대신 모델이 스스로 적응하는 스케일을 학습하는 모델
->예측정확도 향상 및 텍스트 정보가 예측성능에 얼마나 기여하는지 직접 비교 및 분석
3) Decoder-only
- LLaMA3(Dubey et al., 2024): 디코더 전용구조(대규모 언어 모델에서 유리)
- CATS(Kim et al., 2024): cross-attention만을 사용하는 구조를 제안, 디코더-only 아키텍처에서 미래와 과거 데이터 간 관계에만 집중
4) Feature Enhancement
- Fredformer(Piao et al., 2024): frequency bias 문제를 개선(주파수 정규화)
- Basisformer(Ni et al., 2024): 각 시계열과의 유연한 관계 구축을 위한 모델(대조학습)
Growth of Fundamental Deep Learning Models
LSTF-linear 모델의 등장으로 Transformer 모델의 성능에 대한 회의를 불러일으켰고, 기존 딥러닝모델에 대한 연구가 이루어짐.
MLP-Based Models
1) 구조가 단순해 다루기 쉽고 해석 가능성이 높음 / 계산 자원 제한 및 데이터 부족한 환경 속에서도 우수한 성능(경량 구조)
2) 과거 MLP의 한계(순차적 의존성, 장기 의존성, 고차원 데이터 처리, 주기적 패턴 포착)을 보완할 기술적 향상
CNN-Based Models
1) 깊은 네트워크 & 병렬성 덕분에 성능과 안정성이 높았으나, 고정된 필터 크기로 긴 시퀀스의 복잡한 패턴 학습에 부족함.
2) 긴 시퀀스 안에서 다양한 지역 패턴을 잘 포착하는 장점 때문에
다시 백본(backbone) 아키텍처로 관심을 받고 있음.
RNN-Based Models
1) 재귀 구조의 특성상 시간 의존성에 강점을 보이며, LSTM, GRU 등으로 장기의존성 문제 일부 해결, 실시간 처리 및 적은 데이터 처리에 적합
2) 병렬화 문제, 긴 시퀀스에서 장기 의존성 정보 포착 한계, 전역 정보 포착 한계
GNN-Based Models
1) 노드/엣지 구조로 다변량 시계열을 다루는데 적합 / local 정보 중심, 순차 계산으로 병렬화 제한(속도 느림), 일반화가 힘듦
2) 최근 소셜 네트워크 센서 데이터 증가 및 연산 최적화 및 하드웨어 기술 발전으로 주목
Model-Agnostic Frameworks
이 외에도 특정 모델에 종속되지 않은 model-agnostic 방법(시계열 데이터의 근본적인 특성에 초점), 대부분 분포 변화(distribution shift) 문제를 다룬 연구가 있음.
특정 아키텍쳐가 아니므로 유연하게 모델을 선택할 수 있으며, 재사용성이 높고, 모델 예측 결과를 쉽게 분석 가능
다음은 시계열 데이터 자체의 문제점에 대한 요약이다.
- Channel Dependency(채널 의존성): 변수 간 상호작용, 변수 내부의 패턴을 효과적으로 포착하지 못함
- Channel Redundancy / Correlation Overload: 채널이 많을 때, noise에 취약
- CI(Channel Independence), CD(Channel Dependence): 변수를 하나씩 학습하면 상관관계 학습에 제한, 모든 변수를 학습하면, noise 증가
- MSE 기반 학습 문제(flattening / high-entropy): 예측이 over-smoothing(평균에 가까운 쪽으로 유도), high-entropy 포착에 제한
- Auto-regressive 모델의 error accumulation문제: 예측한 값을 다시 입력으로 넣는 과정에서 오차가 누적되는 문제
Emergence of Foundation Models
파운데이션 모델(기본 모델이라고도 함)은 방대한 양의 데이터로 학습되어 다양한 작업에 맞게 조정할 수 있는 강력한 인공지능(AI) 모델으로,
CV, 언어 영역에서는 많은 발전이 이루어졌으나, 시계열 데이터를 위한 파운데이션 모델에는 몇 가지 문제점이 존재
- 데이터셋의 특성이 매우 다름(도메인 특화 지식이 중요)
- 수집 비용이 높고, 보안 문제로 대규모 데이터 확보에 어려움
이를 고려해 LLM 모델에 시계열 데이터에 맞게 조정하는 연구의 방향과, 대규모 시계열 데이터를 사전학습 시킨 새로운 시계열 파운데이션 모델을 연구하는 방향으로 진행되었다.
Sequence Modeling with LLMs
1) 방식:
- LLM의 뛰어난 일반화 성능, 텍스트와 시걔열 데이터는 모두 시퀀스 구조이므로 그대로 활용하는 방식
2) 관련모델:
- LLMTime(Gruver et al., 2023):
- PromptCast(Xue & Salim, 2023): 수치형 시계열 데이터를 텍스트 프롬프트 형태로 변환해 입력, QA형식으로 출력
- LLMTime(Gruver et al., 2023): 시계열 데이터를 숫자로 구성된 문자열(string of numerical digits)로 변환해 LLM에 입력
- Time-LLM(Jin et al., 2024): patch reprogramming으로 시계열 모달리티를 언어 모달리티에 적용
Pre-training
1) 방식:
- 대규모 시계열 코퍼스를 구축해 시계열 파운데이션 모델을 처음부터(pre-training) 학습하는 방식
2) 관련모델:
- Lag-LLaMA(Rasul et al., 2024): 27개의 공개 시계열 예측 데이터셋을 통합해 대규모 사전학습 코퍼스 구성,
- TimesFM(Das et al., 2024): LAG-LLaMA에서 추가적인 대규모 데이터 소스(Google Trends, Wiki Pageview)를 활용한 방식
- CHRONOS(Ansari et al., 2024): patch 기반 tokenizer를 학습하여, 시계열 데이터의 내재된 언어적 특성 포착
Advance of Diffusion Models
고품질 이미지, 오디오 생성, 자연어 처리, 비디오 생성에 뛰어난 성능을 가지는 모델을 시계열 예측에서 적용하려는 연구 증가.
노이즈를 더하고(forward process), 복원하는 방식(reverse process)으로 학습 진행
Effective Conditional Embedding
초기 TSF Diffusion Models에는 reverse process을 conditional embedding을 통해 구성하는데 초점을 둠.
- TimeGrad (Rasul et al, 2021): (autoregressive) DDPM(Ho et al., 2020) 방식을 활용하는 최초의 주목할 만한 확산 모델
Time Series Feature Extraction
시계열 데이터의 복잡한 패턴을 더 잘 이해하고, 예측 성능을 향상시키기 위한 시계열 특징 추출 기법을 Diffusion models과 결합한 연구들이 등장함.
1) Decomposition:
- 시계열 데이터를 추세(trend), 계절성(seasonality), 불규칙성(irregularity) 등의 구성 요소로 나누어, 각 구성 요소의 고유한 패턴을 분석하는 방법(Diffusion-TS(Yuan & Qiao, 2024))
2) Frequency Domain
- 푸리에 분석(Fourier analysis)은 분해 기법의 한 형태로, 시계열 데이터를 주파수 영역(frequency domain)으로 변환해 주기적 구성 요소를 분석하는 방법
- 주기적 패턴을 식별하고 노이즈를 제거하는 데 도움
3) Multi-Scale
- 시계열 데이터를 여러 시간 스케일에서 분석하여 장기 추세(long-term trends)와 다양한 특징들을 효과적으로 추출하는 방법
- 시계열 데이터의 복잡한 패턴을 이해하고 예측 성능을 향상시키는 데 중요한 역할(MG-TSD (Fan et al, 2024b))
4) Score-Based Generative Modeling through Stochastic Differential Equations (SDEs)(Song et al, 2021)
- 확률 미분 방정식(SDE)를 활용한 점수 생성 모델로, 시계열 데이터를 연속 시간(continuous-time)에서 다룰 수 있게 하여, 현실 세계의 연속적 변화와 노이즈를 더 자연스럽게 반영하는 접근 방식
5) Latent Diffusion Model (Rombach et al, 2022)
- 원본 데이터가 아닌 잠재 공간(latent space)에서 diffusion process를 수행하는 생성 모델
- 효율성과 안정성을 높이고, 시계열 압축 시 발생하는 비정상성을 동적 보정으로 해결.
6) Guidance
- 확산 모델이 샘플을 생성할 때, 과거 데이터를 이용해 모델이 원하는 방향으로 샘플을 생성하도록 추가적인 신호(guide)를 주는 방식
Debut of the Mamba
History of the State Space Models (SSMs)
1) 배경:
-
RNN의 구조적 한계(정보를 single context vetor로 압축), 느린 학습속도에 대한 문제점, Transformer의 문제점(복잡도 및 긴 시퀀스 처리 시 메모리 사용량 폭증)
-> RNN과 Transformer의 장점을 유지하면서 단점을 극복하려는 연구들이 활발해짐. -
RNN의 철학을 계승한 연구들은 상태공간모델(SSM; State Space Model, Kalman 1960)에 주목하기 시작함.
2) SSM의 설명
- 시간에 따라 변화하는 시스템의 동적 상태를 모델링하기 위한 수학적 프레임워크
- 필요한 정보만 압축하여 시퀀스를 효과적으로 모델링해 제어 이론, 신호 처리, 시계열 분석 등의 분야에서 활용됨.
- State Equation (상태 방정식)과 Observation Equation (관측 방정식)으로 구성되어 있어 내부 상태가 시간에 따라 어떻게 변화하는지, 내부 상태가 어떻게 외부 관측값으로 변환되는지 설명을 설명할 수 있음.
- 현재 hidden state와 입력에 선형 변환을 수행하지만, 시계열처럼 이산 시퀀스도 이산화(discretization) 과정을 거쳐 처리할 수 있음.
3) 관련 모델:
- S4(Gu et al., 2021): 초기 SSM 응용 모델, transition matrix의 diagonalization을 활용한 긴 시퀀스에서의 장기의존성을 개선한 모델, 다른 딥러닝 아키텍쳐와 결합될 때 높은 성능을 보임.
- H3(Fu et al., 2023): S4를 기반으로 만들어진 고급 모델, 컨볼루션, 게이팅, MLP를 계층정으로 연결한 시퀀스 모델링 제공
SSM을 도입한 Mamba
1) SSM의 한계:
- 입력 데이터에 유연하게 대응하는 데 한계
- discrete + information-dense 도메인에서 성능이 떨어짐
2) Mamba의 특징:
- SSM의 파라미터가 동적으로 변화되어 시퀀스를 선택적으로 처리 가능.
- 해당 방식에는 병렬 처리 문제가 존재, kernel fusion, parallel scan, recomputation같은 기존 기술을 GPU상에 적용
- H3모델에서 효율적인 학습, 빠른 추론, 높은 확장성 및 범용성을 달성함.
Applications of the Mamba
Mamba는 Transformer 기반 SOTA 모델보다 더 뛰어난 성능을 보였다는 보고가 있었으며, 다음과 같은 흐름을 바탕으로 연구가 진행되고 있음.
- 불안정성을 완화하고 안정성을 높이기 위한 설계
- 채널 간 상관성을 명확히 학습하는 구조를 도입(CD 전략으로 SOTA를 기록한 모델 확인)
- Transformer 연구에서 발전된 기법들을 Mamba 모델 구조에 통합
