[논문 리뷰] Chronos-2: From Univariate to Universal Forecasting (Amazon 2025.10)

해당 리뷰에서는 아마존에서 2024년에 발표한 Chronos는 기존 단변량 예측에 집중되었으나, 2025년 10월, Chronos-2로서 단변량, 다변량, 그리고 공변량을 포함한 예측 작업을 제로샷(zero-shot) 방식으로 처리할 수 있는 사전 학습 모델을 제안한다. 이에 대해서 Time-Series Forecasting 연구 방향성에서 이를 접목시키고자 정리한 글이다.

이전 Chronos-1 original paper

핵심 내용 정리

01. Problem
기존 연구의 결정적 결함 (Gap)기존의 시계열 파운데이션 모델(Chronos-1, TimesFM, Lag-Llama 등)은 대부분 단변량(Univariate) 예측에 국한되어 있었다. 그러나 실제 산업 현장(에너지, 리테일 등)에서는 여러 변수가 상호작용하는 다변량 데이터와 외부 요인(날씨, 가격 등)인 공변량(Covariates) 처리가 필수적이다. 기존 모델들은 다변량 데이터를 처리할 때 단순히 변수를 이어 붙이거나 독립적으로 취급하여 변수 간의 복잡한 상관관계를 놓치거나 연산 효율성이 급격히 떨어지는 한계를 보였다.

02. Idea
이 논문만의 독창적인 한 줄 논리"그룹 ID(Group ID)와 그룹 어텐션(Group Attention)을 통해, 아키텍처 변경 없이 배치 내 시계열 간 정보를 유연하게 공유하여 제로샷 다변량/공변량 예측을 구현한다."

03. Challenge

• 예측 문제의 이질성: 도메인마다 변수 개수와 의미가 제각각이라, 모델이 학습 시 보지 못한 새로운 작업에서 변수 간 상호작용을 스스로 추론해야 하는 기술적 어려움이 있었다.
• 데이터의 희소성: 다변량 의존성과 정교한 공변량 정보가 포함된 고품질의 사전 학습 데이터를 대량으로 확보하는 것이 불가능에 가까웠다.

04. Contribution

• 방법론적 혁신: 배치 축을 활용해 정보를 교환하는 그룹 어텐션과 단변량 데이터를 다변량 구조로 변환하는 멀티베리에이타이저(Multivariatizers) 기법을 제안했다.
• 성능적 가치: fev-bench를 포함한 주요 벤치마크에서 SOTA를 달성했으며, 특히 공변량 활용 작업에서 독보적인 성능 향상을 입증했다.
• 실용적 효율성: 8,192단계의 긴 컨텍스트를 지원하면서도 중급형 GPU(NVIDIA A10G)에서 초당 300개의 시계열을 처리하는 높은 처리량을 확보했다.

05 Pros & Cons

• 강점(Pros): 별도의 파인튜닝 없는 뛰어난 제로샷 범용성, 변수 개수가 늘어나도 연산량이 완만하게 증가하는 확장성($O(V)$), 그리고 $sinh^{-1}$ 변환을 통한 이상치 대응 능력이 탁월하다.
• 약점(Cons): 현재는 수치형과 범주형 공변량만 지원하며, 텍스트나 이미지와 같은 멀티모달 입력은 아직 처리하지 못한다. 또한 다변량 성능의 상당 부분이 합성 데이터에 의존하고 있다.

06. Takeaway

• 합성 데이터 생성 전략: 실제 다변량 데이터가 부족할 때, 이 논문에서 사용한 멀티베리에이타이저(동시성/순차적 변환) 개념을 차용해 풍부한 학습 데이터를 직접 구축할 수 있다.
• 그룹 ID 기반의 유연한 모델링: 추천 시스템이나 다변량 분석 시, 모델 구조를 고정하지 않고 그룹 ID 할당 방식만 조절하여 데이터 간의 관계를 동적으로 학습시키는 로직을 응용할 수 있다.

07. Limitation

• 멀티모달 통합: 텍스트 기반의 이벤트 정보나 뉴스 기사 등을 예측에 통합하는 멀티모달 파운데이션 모델로의 확장이 필요하다.
• 검색 증강 예측(RAG): 그룹 어텐션을 활용해 과거의 유사한 시계열 패턴을 검색하고 이를 예측에 참고하는 Retrieval-augmented forecasting 기법의 정교화가 과제로 남아있다.
• 희소 메타데이터 최적화: 메타데이터가 매우 부족하거나 노이즈가 심한 환경에서 최적의 그룹화를 수행하는 방법론에 대한 추가 연구가 필요하다.

0. Abstract

사전 학습된 시계열 모델은 별도의 추가 학습 없이도 정확한 예측을 수행하는 '추론 전용' 예측 시스템을 가능하게 했다.

하지만 기존 방식들은 주로 단변량(univariate) 예측에 집중되어 있어, 다변량 데이터와 공변량(covariates)이 중요한 실제 환경에 적용하기에는 한계가 존재한다.

따라서 단변량, 다변량, 그리고 공변량을 포함한 예측 작업을 제로샷(zero-shot) 방식으로 처리할 수 있는 사전 학습 모델인 Chronos-2를 제안하고자 한다.
-> 이전 모델(Chronos-1)이 시계열 하나하나를 언어의 '단어'처럼 처리하는 데 집중했다면, Chronos-2는 여러 시계열 간의 관계(다변량)와 외부 요인(공변량, 예: 날씨, 프로모션)까지 한 번에 고려할 수 있도록 진화했다.

Chronos-2는 그룹 어텐션(group attention) 메커니즘을 사용하여 그룹 내 여러 시계열 간 정보를 효율적으로 공유하며,
이를 통해 In-context learning, (ICL)을 수행한다.
이러한 ICL 능력 덕분에 Chronos-2는 실제 예측 파이프라인에서 즉시 사용할 수 있는 범용 예측 모델로서 사용된다.

1. Introduction

1.1 Problem Define

최근 시계열 예측 분야는 개별 데이터셋마다 모델을 학습시키던 과거의 방식에서 벗어나, 대규모 데이터로 사전 학습된 ‘Foundation Models’을 활용하는 방향으로 패러다임이 전환되고 있다.
그러나, 이러한 발전에도 불구하고 실제 산업 현장에 적용하기에는 다음과 같은 치명적인 한계점들이 존재한다.

1. 단변량(Univariate) 중심의 설계: 기존의 대다수 사전 학습 모델은 과거의 단일 관측값만 참고하는 단변량 예측에 최적화되어 있다. 그러나 실제 환경에서는 클라우드 서버의 CPU와 메모리 사용량이 연동되어 움직이거나, 소매점의 매출이 프로모션이나 날씨 같은 외부 요인(공변량)에 의해 결정되는 등 다변량(Multivariate) 데이터의 처리가 필수적이다.

2. 학습 데이터의 희소성: 다변량 의존성과 복잡한 공변량 정보가 포함된 고품질의 시계열 데이터를 대량으로 확보하는 것은 현실적으로 매우 어렵다.

3. 도메인별 이질성: 각 예측 작업마다 변수의 개수와 의미가 다르기 때문에, 보지 못한 새로운 작업(Unseen Task)에서 변수 간의 상호작용을 모델이 스스로 추론해내기가 기술적으로 까다로웠다.

4. 기존 아키텍처의 비효율성: Chronos-1을 포함한 초기 모델들은 T5 계열 모델로, 시계열을 단순 언어 토큰으로 취급하여 처리했으나, 이는 시계열 데이터가 가진 고유의 물리적 특성이나 정교한 확률 분포를 반영하는 데 한계가 있었다.

1.2 Key Contribution

Chronos-2는 위에서 언급한 한계점들을 극복하고, 단변량부터 다변량, 공변량 포함 작업까지 모두 수행할 수 있는 ‘범용 시계열 예측 모델(Universal Forecaster)’로서 다음과 같은 핵심적인 기여는 아래와 같다.

1. 아키텍처의 고도화 (Patching & Quantile Head): Chronos-1이 T5 언어 모델 아키텍처를 그대로 사용하여 Token Classification 방식을 택한 것과 달리, Chronos-2는 시계열 데이터의 특성에 최적화된 Patching 기법을 도입했다. 이를 통해 더 긴 컨텍스트를 효율적으로 처리할 수 있게 되었다. 뿐만 아니라 Quantile Head를 탑재하여 단순한 수치 예측을 넘어 정교한 확률적 분포를 직접 예측함으로써 예측의 불확실성까지 효과적으로 포착한다.

2. 그룹 어텐션(Group Attention) 메커니즘 도입: 여러 시계열 변수를 '그룹'으로 묶고, 배치 축(Batch axis)을 통해 정보를 공유하는 혁신적인 어텐션 방식을 제안했다. 이 메커니즘은 변수의 개수가 늘어나도 연산 비용이 급격히 증가하지 않도록 설계되었으며, 동시에 변수 간의 복잡한 상관관계를 학습할 수 있게 한다.

3. In-Context Learning, ICL의 극대화: 모델 파라미터를 별도로 수정하지 않고도 입력된 데이터 샘플들 사이의 관계를 실시간으로 파악하여 예측에 반영하는 능력을 갖췄다. 이는 추가적인 파인튜닝 없이 즉시 현장에 투입하여 결과를 도출할 수 있는 제로샷(Zero-shot) 성능의 핵심이 된다.

4. 합성 데이터(Synthetic Data)를 통한 데이터 한계 돌파: 고품질의 실제 다변량 데이터가 부족한 문제를 해결하기 위해, 단변량 시계열에 인위적인 다변량 구조와 상관관계를 주입한 대규모 합성 데이터를 학습에 적극 활용했다. 이를 통해 모델은 한 번도 경험하지 못한 산업군의 외부 변수(공변량)까지 잘 처리할 수 있는 범용성을 확보했다.

5. SOTA 성능 및 실용성 입증: 주요 벤치마크에서 기존 모델들을 압도하는 성능을 기록했으며, 특히 공변량이 포함된 작업에서 가장 뚜렷한 성능 향상을 보였다. 아울러 중급형 GPU(NVIDIA A10G) 환경에서도 초당 300개의 시계열을 처리할 수 있을 만큼 높은 계산 효율성을 증명했다.

2. Background and Related Work

시계열 예측이 전통적인 통계 모델에서 최신 파운데이션 모델로 어떻게 진화했는지, 그리고 Chronos-2가 해결하고자 하는 기존 모델들의 한계가 무엇인지 살펴보고자 한다.

2.1 시계열 예측 정의와 종류

시계열 예측은 과거의 관측값 $y_{1:T}$를 바탕으로 미래의 값 $y_{T+1:T+H}$를 추정하는 작업

• 단변량 예측(Univariate): 단일 시계열의 과거 데이터만 사용하는 방식이다.

• 공변량 활용(Covariate-informed): 타겟 변수 외에 예측에 도움이 되는 외부 변수(예: 날씨, 공휴일)를 함께 고려한다.

• 다변량 예측(Multivariate): 여러 연관된 시계열(예: 여러 종목의 주가) 간의 상호 의존성을 동시에 모델링한다.

• 제로샷 예측(Zero-shot): 특정 데이터셋에 대해 별도의 학습(Training) 과정 없이, 이미 학습된 모델을 통해 즉각적으로 예측을 수행하는 방식이다

2.2 Time Series Foundation Model(TSFM)의 등장

시계열 파운데이션 모델은 크게 세 가지 방향으로 발전

1. LLM 기반 방식: 이미 강력한 성능이 증명된 거대 언어 모델(LLM)의 추론 능력을 시계열 예측에 그대로 이식하려는 시도이다.

2. Transformer 기반 방식: 시계열 데이터를 패치(Patch) 단위로 나누어 인코더-디코더 구조로 처리하는 PatchTST 등이 대표적이다.

3. Chronos-1의 접근: 시계열의 수치 데이터를 일정한 구간으로 나누어 토큰화(Quantization)하고, 이를 언어 모델처럼 학습시키는 혁신적인 방식을 제안했다.

기존 사전 학습 모델들은 여전히 다음과 같은 한계 존재

1. 단변량 편향: Lag-Llama, TimesFM, Chronos-1을 포함한 대다수 모델은 단변량 예측에 국한되어 있으며, 다변량 시나리오에서도 각 변수를 독립적으로 취급하여 변수 간 관계와 공변량을 무시한다.
2. 확장성 및 기능 부족: Moirai-1은 다변량 입력을 지원하지만 내부적으로 데이터를 평면화(Flattening)하여 고차원 데이터 처리에 한계가 있고, Toto는 공변량 지원이 부족하다.
3. 성능 정체: 결과적으로 많은 최신 접근법들이 실제 제로샷 환경에서는 단순한 단변량 모델 대비 유의미한 이점을 제공하지 못하고 있다.

Chronos-2의 접근: Group Attention

Chronos-2는 이러한 간극을 메우기 위해 Group Attention Mechanism을 도입했다. 이는 다변량 예측을 위한 교차 어텐션 구조와 여러 단변량 시계열 간의 교차 학습 개념을 일반화한 것이다. 해당 모델은 연관된 시계열 그룹 위에서 작동하며, 아키텍처 변경이나 작업별 적응 없이도 단변량, 다변량, 공변량 포함 작업을 하나의 통합된 프레임워크 내에서 자연스럽게 수용한다.

3. The Chronos-2 Model

Chronos-2의 핵심인 아키텍처와 데이터 처리 파이프라인(Scaling & Tokenization)을 디테일하게 살펴보고자 한다.

Figure 1. Chronos-2 Pipeline

3.1 Scaling and Tokenization

모델에 입력되기 전, 시계열 데이터는 수치 안정성을 확보하고 모델이 이해할 수 있는 벡터 형태로 변환

• Input Construction: 타겟($Y$)과 공변량($X$)을 결합하여 하나의 시퀀스($V$)를 구성한다. 범주형 공변량은 Target Encoding 또는 Ordinal Encoding을 통해 수치화된다.

• Robust Scaling: 표준화(Standardization)를 거친 후, $sinh^{-1}$ 변환을 추가로 적용한다. 이는 로그 변환과 유사하게 분산을 안정시키고 Outlier의 영향을 줄이는 역할을 한다. $\tilde{v}_{t,d} = \sinh^{-1} \left( \frac{v_{t,d} - \mu_d}{\sigma_d} \right)$
  

• Meta Features: 각 시계열에는 Time Index와 Mask 정보가 추가된다. 시간 인덱스는 패치 기반 입력에서 시계열의 순서를 명시하며, 마스크는 결측치나 미래 공변량을 식별하는 데 사용된다.

• Patching & Embedding: 긴 시계열을 $P$ 길이의 패치(Patch) 단위로 나누어 처리 효율을 높인다. 각 패치는 잔차 네트워크(Residual Network)를 통해 임베딩 공간으로 매핑된다.

3.2 Architecture

Chronos-2는 T5 인코더 설계를 따르며, 크게 두 가지 어텐션 레이어가 번갈아 나타나는 구조를 가진다.

• Time Attention
  동일한 변수 내에서 시간축을 따라 패치 간의 정보를 집계한다.
  기존 T5의 상대적 위치 임베딩 대신 최신 LLM에서 표준으로 쓰이는 RoPE(Rotary Position Embeddings)를 도입

• Group Attention
  Chronos-2의 '인컨텍스트 학습(ICL)'을 가능하게 하는 핵심 layer.
  Batch 내에서 서로 연관된 시계열들을 하나의 '그룹'으로 묶고, 이들 사이의 정보를 공유

  • 단변량: 독립적인 예측 수행

  • 다변량: 여러 변수 간의 동학(Dynamics) 공유

  • 공변량 활용: 타겟과 외부 변수 간의 관계 학습

• Quantile head
  모델의 최종 출력단으로, 21개의 분위수(Quantiles) $Q = {0.01, 0.05, 0.1, \dots, 0.9, 0.95, 0.99}$를 직접 예측한다.
  이는 9개 분위수를 썼던 기존 모델보다 극단적인 사건(Rare events)에 대한 예측력을 높인다.
  

3.3 Training (2 Stage Training)

• Heterogeneous Tasks
  학습 배치는 단변량 예측, 다변량 예측(과거 전용 공변량 포함), 알려진 미래 공변량이 포함된 다변량 예측 등 다양한 시나리오로 구성된다. 각 태스크는 타겟 차원($D$), 공변량 차원($M$), 그리고 각 차원의 역할(타겟, 과거 전용, 미래 공유 등)에 의해 정의된다.

Quantile Regression Objectvie 목적함수
$\mathcal{L} = \sum_{q \in Q} \left( q \cdot \max(z - \hat{z}_q, 0) + (1 - q) \cdot \max(\hat{z}_q - z, 0) \right)$

• $Q$: 예측하고자 하는 분위수의 집합 ($|Q|=21$)
• $z$: 실제 정규화된 타겟 값
• $\hat{z}_q$: 모델이 예측한 $q$ 분위수 값

이 손실 함수는 타겟 차원에서만 계산되며, 알려진 공변량이나 결측치는 계산에서 제외된다. 이를 통해 모델은 단순 점 예측이 아닌 확률 분포 전체를 학습한다.

2 Stage Training

1단계: 최대 컨텍스트 길이를 2,048로 설정하고 출력 패치 수를 적게 하여 기본 성능을 확보한다.

2단계: 컨텍스트 길이를 8,192로 확장하고 출력 패치 샘플링 수를 늘린다. 이를 통해 고빈도 데이터의 장기 계절성(Long-term seasonality)을 포착하고 휴리스틱 없이도 긴 미래를 예측할 수 있게 한다.

3.4 Inference

Chronos-2는 별도의 아키텍처 변경 없이 그룹 ID 지정만으로 다양한 작업을 수행한다.

• 역정규화 및 결과 복원 (De-normalization)
  퀀타일 헤드에서 출력된 값($\hat{z}$)은 학습 시 적용했던 $sinh^-1$ 변환의 역함수인 $sinh$를 활용하여 원래의 수치 스케일($\hat{y}$)로 복원된다.$\hat{y}_{t,d}^{q} = \mu_d + \sigma_d \cdot \sinh(\hat{z}_{t,d}^{q})$

• Grouping Strategy by task
  • 단변량 예측: 배치 내의 각 아이템에 고유한 그룹 ID를 할당하여 서로 독립적으로 예측하게 한다.
  • 다변량 예측: 동일한 다변량 시계열에 속하는 변수들에 같은 그룹 ID를 부여하여 변수 간 동학(Dynamics) 정보를 공유하게 한다.
  • 공변량 활용 예측: 타겟과 관련된 모든 공변량에 동일한 그룹 ID를 할당한다. 이때 미래 공변량 값은 입력 $W$에 직접 포함시키며, 모델이 공변량에 대해 내놓은 예측값은 무시하고 타겟 변수의 결과만 사용한다.

4. Training Data

해당 부분에서는 모델의 범용 성능을 결정짓는 핵심 요소인 학습 데이터의 구성과 생성 전략을 다룬다. 특히 부족한 다변량 데이터를 어떻게 합성 데이터로 극복했는지가 핵심이다.

최근 대규모 시계열 데이터셋이 확장되고 있으나, 여전히 대부분 단변량(Univariate) 데이터에 치중되어 있다는 한계가 있다.
Chronos-2는 이러한 한계를 극복하고 인컨텍스트 학습(ICL) 능력을 부여하기 위해 대규모 합성 데이터(Synthetic Data)를 적극적으로 활용했다.

4.1 Univariate Data - 데이터 다양성 확보

• TSI(Trend, Seasonality, and Irregularity)

  • 추세(Trend), 계절성(Seasonality), 불규칙성(Irregularity) 성분을 무작위로 생성하고 조합하여 다양한 형태의 시계열을 만든다.

• TCM (Temporal Causal Model): 시간적 인과 모델에서 무작위 인과 그래프를 샘플링한 뒤, 자기회귀(Autoregression) 방식을 통해 시계열을 생성한다.

4.2 Multivariate Data - Multivariatizers 도입

다변량 및 공변량 관련 작업의 경우, Chronos-2는 전적으로 합성 데이터에 의존한다. 실제 고품질 다변량 데이터를 구하기 어렵기 때문에, 모델이 다양한 다변량 구조를 배울 수 있도록 멀티베리에이타이저(Multivariatizers)라는 개념을 도입했다.

• Multivariatizers: 기본 단변량 생성기(AR, ETS, TSI, KernelSynth 등)에서 샘플링된 여러 시계열을 가져와, 이들 사이에 인위적인 의존성을 부여하여 다변량 동학(Dynamics)을 생성

1. Cotemporaneous(동시성) Multivariatizers: 동일한 시점에서 여러 시계열에 선형 또는 비선형 변환을 적용한다. 이를 통해 변수 간의 즉각적인 상관관계(Instantaneous correlations)를 생성한다.

2. Sequential(순차적) Multivariatizers: 시간의 흐름에 따른 의존성을 유도한다. 이는 선행-지연 효과(Lead-lag effects)나 공적분(Cointegration)과 같은 복잡한 다변량 특성을 만들어낸다.

이렇게 생성된 데이터는 모든 변수를 예측해야 하는 다변량 태스크와, 일부 변수를 미리 알고 있는 정보로 설정하는 공변량 태스크 학습에 모두 사용된다.

5. Experiments

Chronos-1, TimesFM, MOIRAI 등 최신 시계열 파운데이션 모델들이 포함하여 성능 평가 진행

5.1 Benchmark Results - Fev bench

• fev-bench는 단변량(Uni), 다변량(Multi), 공변량 포함(Cov) 태스크를 모두 아우르는 벤치마크다.

• 통합 성능: Chronos-2는 모든 카테고리에서 가장 낮은 오차율(Relative MASE/WQL)을 기록하며 1위를 차지했다.

• 공변량 태스크(Covariate-informed): 특히 외부 변수를 활용하는 작업에서 기존 모델 대비 성능 향상 폭이 가장 컸다. 이는 그룹 어텐션을 통한 타겟-공변량 간의 관계 학습이 매우 효과적임을 시사한다.

• 다변량 태스크(Multivariate): 다변량 구조를 명시적으로 모델링하지 못하는 단변량 전용 모델(TimesFM 등)보다 뛰어난 성능을 보였다.

5.2 Benchmark Results - GIFT-Eval

• 벤치마크 구성 및 특징

  • GIFT-Eval은 55개의 데이터셋에서 파생된 97개의 태스크로 구성된 방대한 벤치마크
  • 고빈도 데이터 (High-frequency): 데이터 포인트 사이의 간격이 좁은 고빈도 시계열을 중점적으로 다룬다.
  • 장기 예측 (Long-horizon): 아주 먼 미래까지 예측해야 하는 고난도 작업이 포함되어 있다.
  • 비교군: 기존에 이 분야에서 두각을 나타냈던 TiRex 및 TimesFM-2.5와 같은 최상위 모델들과 성능을 겨뤘다.

• zero shot 일반화: 모델이 학습 시 보지 못한 데이터셋으로 구성된 GIFT-Eval에서도 높은 성능 달성

• (a): weighted quantile loss(WQL), (b): Mean Absolute Scaled Error(MASE) metric 사용

  • WQL (Weighted Quantile Loss): 확률적 예측(Probabilistic forecasting)의 정확도를 측정하는 지표
  • MASE (Mean Absolute Scaled Error): 점 예측(Point forecasting)의 성능을 나타내는 지표

5.3 Benchmark Results - Chronos Benchmark 2

• 벤치마크 구성 및 특징

  • 데이터셋 규모: 총 27개의 다양한 시계열 태스크로 구성되어 있다.

  • 데이터 특성: 대다수의 시계열이 평균 300단계 미만의 짧은 이력(Short histories)을 가지고 있다. 이는 모델이 매우 적은 정보만으로도 정확한 패턴을 찾아내야 함을 의미한다.

  • 엄격한 제로샷 평가: Chronos-2의 학습 코퍼스에 이 데이터셋들은 전혀 포함되지 않았다. 즉, 모델이 한 번도 보지 못한 데이터에 대해 즉각적으로 수행한 순수 제로샷 성능이다.

5.4 Improvements with In-Conetext Learning

ICL 능력을 확인하기 위해 fev-bench를 세 가지 서브셋(단변량, 다변량, 공변량)으로 나누어 실험 진행

1) Univariate Tasks

• 배치의 여러 시계열을 하나의 그룹으로 묶어 정보를 공유하는 교차 학습(Cross-learning)을 수행한다.

2) Multivariate Tasks

• 현상: Chronos-2를 단변량 모드로 돌려도 다변량을 지원하는 기존 모델(Toto-1.0 등)보다 뛰어난 성능을 보였다. (a) 그림

• 이유(Takens’s Embedding Theorem): 이론적으로 단일 변수의 지연된 관측값들만으로도 전체 시스템의 동학을 재구성할 수 있다. 즉, 과거 데이터가 충분히 길다면 강력한 단변량 모델만으로도 다변량 모델만큼의 구조적 파악이 가능하다는 것이다.

3) Covariate Tasks

• 가장 극적인 성능 향상은 공변량(외부 변수)이 포함된 작업에서 나타났다 (b) 그림.
• Chronos-2가 타겟 데이터와 외부 변수(날씨, 가격 등) 사이의 복잡한 상관관계를 효과적으로 활용하고 있음을 증명한다.

5.5 Domain Case Studies

• 에너지 가격 예측 (a) 그림

  • 단변량 모드: 과거 가격 데이터만 보았을 때는 변동 패턴을 정확히 짚어내지 못한다.

  • ICL 모드: '부하량(Load)'과 '태양광/풍력 발전량' 데이터를 공변량으로 함께 고려, 가격의 급등락 패턴을 훨씬 정교하게 예측.

• 리테일 수요 예측 (b) 그림

  • 프로모션이나 휴일 정보를 공변량으로 입력했을 때, ICL을 통한 예측 정확도가 타 모델 대비 월등히 높음.

5.6 Ablation Study

• Model Size
  • Small 모델 28M 개의 파라미터 수의 모델을 가지고 학습시켜도 성능과 효율성이 좋았음.
  • 특히 GIFT-Eval 벤치마크에서는 베이스 모델과 성능 차이가 단 1% 수준에 불과했다.

• Systhetic Data Only

  • 결과: 이 모델은 Chronos Benchmark II와 GIFT-Eval에서 실제 데이터를 포함한 버전과 비교해도 성능 차이가 근소했다. fev-bench에서는 성능 격차가 다소 발생했으나 여전히 준수한 결과를 보여주었다.

  • 의의: 이는 사전 학습 모델에서 합성 데이터가 결정적인 역할을 함을 증명한다.

• Long-context Post-Training

  • 2,048단계의 컨텍스트로 먼저 학습한 후, 8,192단계로 확장하여 후속 학습(Post-training)을 진행한 효과를 분석

  • 결과: 컨텍스트 길이를 8,192로 확장했을 때, 특히 GIFT-Eval 벤치마크에서 유의미한 성능 향상이 관찰되었다.

  • 의의: 이는 GIFT-Eval에 포함된 고빈도 데이터(High-frequency datasets)들이 긴 계절적 주기를 가지고 있기 때문이다.

6. Discussion

Chronos-2는 단순한 성능 향상을 넘어, 제로샷(Zero-shot) 환경에서 단변량, 다변량, 공변량 데이터를 하나의 통합된 프레임워크로 처리할 수 있음을 입증했다. 특히 그룹 어텐션(Group Attention)과 합성 데이터의 조합은 시계열 파운데이션 모델이 나아가야 할 새로운 이정표를 제시