[NIPS 2024] Are Language Models Actually Useful for Time Series Forecasting?

논문 정리: Are Language Models Actually Useful for Time Series Forecasting? (NeurIPS 2024)

1. 연구 배경 및 문제 제기

• 최근 시계열 예측(Time Series Forecasting)에 대형 언어 모델(LLM, Large Language Models)이 적용되고 있음.
• 기존 연구들은 LLM이 텍스트의 순차적 종속성을 잘 모델링하므로, 시계열 데이터에도 일반화될 수 있다고 가정.
• 하지만 LLM을 활용한 시계열 예측 방법의 성능과 비용 대비 효용성은 충분히 검증되지 않음.

2. 연구 목표

• LLM 기반 시계열 예측 모델이 실제로 유용한지 검증.
• LLM을 제거하거나 간단한 대체 기법(Attention Layer, Transformer Block)으로 변경했을 때 성능 차이를 분석.
• LLM이 시계열의 순차적 의존성을 학습하는지, 소량 데이터(few-shot) 환경에서 도움이 되는지 평가.

---

3. 주요 실험 및 분석

실험 1: LLM 제거 및 대체 실험

• 세 가지 대표적인 LLM 기반 시계열 예측 모델(OneFitsAll, Time-LLM, CALF)을 분석.
• 세 가지 Ablation 기법을 적용하여 LLM의 역할을 비교:
  • w/o LLM: LLM을 제거하고 기존 모델 구조만 유지.
  • LLM2Attn: LLM을 단순 Multi-Head Attention 레이어로 교체.
  • LLM2Trsf: LLM을 단순 Transformer Block으로 교체.
• 결과:
  • LLM을 제거하거나 간단한 구조로 대체해도 성능이 유지되거나 개선됨.
  • OneFitsAll, Time-LLM, CALF의 원본 모델보다 Ablation 모델들이 더 나은 성능을 보이는 경우가 많았음.

---

실험 2: 계산 비용 및 효율성 분석

• LLM 기반 모델의 파라미터 수와 훈련/추론 속도를 비교.
• Time-LLM (LLaMA-7B) 모델: 6652M(66억) 개의 파라미터, Weather 데이터셋 훈련에 3003분 소요.
• Ablation 모델: 0.55M(55만) 개의 파라미터, 동일한 데이터셋 훈련에 2.17분 소요.
• 결론:
  • LLM 기반 모델이 계산량이 3~4차수 이상 증가하지만, 성능은 개선되지 않음.
  • 계산 효율성을 고려할 때, LLM을 사용하지 않는 방법이 더 현실적인 대안.

---

실험 3: 사전 학습(Pretraining)의 영향 분석

• LLM이 시계열 데이터를 모델링할 때 사전 학습된 언어 지식이 도움이 되는지 평가.
• 사전 학습된 LLM vs. 무작위 초기화된(Randomly Initialized) LLM 비교.
• 결과:
  • 사전 학습된 모델과 무작위 초기화된 모델의 예측 성능이 유의미한 차이를 보이지 않음.
  • 텍스트 학습을 통한 사전 학습이 시계열 예측에 도움이 되지 않음.

---

실험 4: 순차적 의존성(Sequential Dependency) 분석

• 시계열 데이터의 입력 순서를 랜덤으로 섞어(shuffling) 모델의 성능 변화를 분석.
• 결과:
  • LLM 기반 모델과 Ablation 모델 모두 입력 순서 변화에 거의 동일한 영향을 받음.
  • 즉, LLM이 텍스트에서처럼 시계열 데이터의 순차적 종속성을 학습하지 않음.

---

실험 5: Few-shot 학습 환경에서의 성능 분석

• 학습 데이터의 10%만 사용하여 모델의 성능을 평가.
• 결과:
  • Few-shot 환경에서도 LLM 기반 모델이 Ablation 모델보다 성능이 뛰어나지 않음.
  • CALF(GPT-2) 모델보다 LLM을 제거한 모델이 12개 중 10개 데이터셋에서 더 나은 성능을 보임.

---

4. 결론 및 시사점

• LLM 기반 시계열 예측 모델은 불필요한 계산 비용을 증가시킬 뿐, 성능 향상에는 기여하지 않음.
• LLM의 사전 학습된 언어 모델링 능력이 시계열 데이터 예측에 도움을 주지 않음.
• LLM 기반 모델을 제거하거나 단순한 Attention 또는 Transformer 구조로 대체해도 성능이 유지됨.
• 연구자들은 LLM을 활용한 시계열 예측보다는 "멀티모달 시계열 분석" 같은 새로운 방향으로 연구를 확장하는 것이 바람직.

---

5. 핵심 요약

연구 질문	결과
LLM이 시계열 예측에 기여하는가?	❌ 기여하지 않음. 오히려 제거하거나 단순한 구조로 대체하면 성능 유지 또는 개선됨.
LLM의 계산 비용은 정당화되는가?	❌ 계산량이 1000배 증가하지만, 성능 차이는 거의 없음.
LLM의 사전 학습이 중요한가?	❌ 사전 학습이 없어도 성능 차이가 없음.
LLM이 시계열의 순차적 의존성을 학습하는가?	❌ 텍스트처럼 시계열의 순차적 패턴을 인식하지 못함.
Few-shot 환경에서 LLM이 도움이 되는가?	❌ 오히려 Ablation 모델이 더 나은 성능을 보임.

➡ 결론: 시계열 예측에서 LLM 사용은 불필요하며, 단순한 모델이 더 효율적이다.