Paper Reading
1.[Arxiv 2023] Conformal PID Control for Time Series Prediction
Conformal PID Control for Time Series Prediction Uncertainty Quantification (UQ) 불확실성 정량화: Computational/ real-world분야에서 불확실성을 정량적으로 특성하고 추정하는 것
2.[ICLR 2023] MICN: Multi-scale Local and Global context modeling for Long-term Series Forecasting
Motivation : 문제점 : 기존의 transformer 기반의 long-term 시계열 예측의 attention mechanism이 high complexity라는 것 + long-term time series forecasting에서 많은 논문들이 그렇듯이 g
3.[Arxiv 2023] Mitigating Cold-start Problem using Cold Causal Demand Forecasting Model
해결하려는 문제 : Multivariate time-series forecasting/ 기존의 많은 모델들이 causal relationship을 포착하지 못하고 cold-start problem(historical data, posing challenges 같은
4.[ICLR 2020] N-BEATS : Neural Basis Expansion Analysis for Interpretable Time Sereis Forecasting
이 논문의 목적은 solving the univariate time series point forecasting problem using deep learning이다. 단변량 시계열 예측은 많은 연구가 되어왔는데, 이 논문에서 이를 강조하는 이유는 기존의 통계 기반의
5.[Arxiv 2023] Revisiting Long-term Time Series Forecasting : An Investigation on Linear Mapping
기존의 long-term time series forecasting 연구들에서는 다양한 구조들이 temporal dependency를 capture하기 위해서 제안되어왔다. 하지만, 이런 복잡한 구조들보다 간단한 linear layer가 더 우수하다는 것을 보여준다.
6.[AAAI 2021] Informer : Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
Long Sequence Time-series Forecasting(LSTF)문제를 Transformer를 기반으로 문제를 해결한다. Transformer의 단점(quadratic time complexity, high memory usage, inherent limi
7.[Arxiv 2022] Neural CDE for Online Prediction Tasks
identify several theoretical conditions that control paths for NCDE should satisfy ( boundedness,uniqueness)new schemes that address these conditions,
8.[Arxiv 2023] The Capacity and Robustness Trade-off: Revisiting the Channel Independence Strategy for Multivariate Time Series
이 논문에서는 Channel Independence strategy에 대해서 이야기하는 만큼 multivariate에 좀 더 집중한다. multivariate time series의 경우 변수들간의 관계가 예측에 영향을 끼친다.Channel Independent met
9.[Arxiv 2022] A comprehensive Survey of Regression Based Loss Functions for Time Series Forecasting
이 논문은 시계열 데이터의 예측, 이상탐지, resource allocation, predictive maintenance 등 다양한 분야에서 사용되는 loss function에 대해서 설명한다. 14가지 정도의 regression loss가 존재하고 이에 따라서 어떤
10.[ICLR 2023] CrossFormer: Transformer Utilizing Cross-Dimension Dependency for Multivariate time series forecasting
많은 트렌스포머 기반의 모델들이 long-term dependency를 잘 포착한다. 하지만, 많은 종류의 트랜스포머 기반의 시계열 모델들이 다른 변수들(Multivariate니까!)사이의 dependency를 중요하게 생각하지 않는다.MTS에서 변수들 간의 depen
11.[ICLR 2023] TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis
이때까지의 연구와 문제점 기존의 시계열 분석은 1D 시계열(input time-series) 그자체로 모델링 하는것에 집중했다. 하지만, 기존의 방법들과 달리 1D 시계열에서는 시계열의 복잡한 시간패턴을 잘 모델링 할 수 없다. 그래서 이 논문에서는! 1D 시계열의
12.[Arxiv 2023] TEMPO : Prompt-based Generative Pre-trained Transformer for Time Series Forecasting
왜 이 연구를 했을까Generative Pre-trained Transformer (GPT)가 NLP에서 잘 작동하는 만큼 time-series에서도 효과적이거나 고유한 dynamic attributes를 포착해서 정확도 향상에 도움이 될까? 라는 호기심에서 시작된 것
13.[Arxiv 2023] Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis
이 논문에서는 그간의 LTSF이나 Spatio-Temporal Forecasting의 연구들에서 언급되던 논란들(Benchmarking issue나 technical appraches )을 없애고, 그간 많은 연구들이 성취한 advancements에 대한 통찰력을 제시
14.[ICPADS 2022] Combating distribution shift for accurate time series forecasting via hypernetworks.
이 논문에서도 시계열 예측의 distribution shift문제를 해결하는 논문이다.domain adaptation or generalization에서의 distribution shift 해결 방법들은 시계열 데이터에서는 통하지 않는다. domain adaptatio
15.[Arxiv 2023] ITRANSFORMER: Inverted Transformers Are Effective for Time Series Forecasting
기존의 많은 트랜스포머 기반의 시계열 예측 모델들이 global dependencies를 잘 모델링해왔다. 시계열 트랜스포머의 경우 lookback window가 길수록 성능이 떨어지고, computation이 폭발적으로 증가한다는 한계점이 있다. temporal to
16.[NeurIPS 2022] Learning Latent Seasonal-Trend Representations for Time Series Forecasting
기존의 시계열 예측에서의 문제점들⚡ 기존의 시계열 예측 논문들에서는 Time-series distribution shift, long-term dependency를 포착하는 것이 힘들다는 등의 문제를 해결하고자 하는데, 이 논문에서는 많은 논문들이 사용하는 시계열 데이
17.Deep Learning for Time Series Forecasting: Advances and Open Problems
리뷰 논문 : STSF/LTSF 등 다양하게 적용될 수 있는 모델을 리뷰함,.⚡Deep learning, the currently leading field of machine learning, applied to time series forecasting can cop
18.Deep Learning for Time Series Forecasting: Advances and Open Problems
리뷰 논문 : STSF/LTSF 등 다양하게 적용될 수 있는 모델을 리뷰함,.⚡Deep learning, the currently leading field of machine learning, applied to time series forecasting can cop
19.Deep Learning for Time Series Forecasting: Advances and Open Problems
리뷰 논문 : STSF/LTSF 등 다양하게 적용될 수 있는 모델을 리뷰함,.⚡Deep learning, the currently leading field of machine learning, applied to time series forecasting can cop
20.Deep Learning for Time Series Forecasting: Advances and Open Problems
리뷰 논문 : STSF/LTSF 등 다양하게 적용될 수 있는 모델을 리뷰함,.⚡Deep learning, the currently leading field of machine learning, applied to time series forecasting can cop
21.ModernTCN: A Modern Pure Convolution Structure for General Time Series Analysis
이 논문은 현재 ICLR 2024에서 under review받는 논문이며, openreview 홈페이지에서 볼 수 있습니다! 시계열 분석 분야에서 transformer-based models들과 MLP-based models들이 지배적이다. convolution을 시계
22.[ArXiv 2024] Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting
Foundation model for Time series forecasting with generalization of Zero-shot, few-shot learning.어떤 문제를 푸는가? 시계열 예측 모델의 foundation model zero-shot, fe
23.Foundation model in Time-series
시계열 분야의 foundation model은 어떤 데이터셋으로 model을 pre-train했는지를 기준으로 나눌 수 있다.1\. LLM pre-trained model : 시계열이 아닌 데이터로 학습이 된 모델을 시계열 데이터에 맞게 fine-tuning하는 모델.
24.[SSM Series]HiPPO: Recurrent Memory with Optimal Polynomial Projections
👀 이 SSM 시리즈는 State-space model에 대한 survey를 진행하기 위해서 Albert Gu의 논문들을 HiPPO부터 최근의 MAMBA까지 리뷰합니다. 각 논문의 SSM과 관련된 부분에 대해서 깊이 있게 정리할 예정이며, SSM과 관련이 적은 부분들