FuXi-S2S: A machine learning model that outperforms conventional global subseasonal forecast models

송용호·2025년 3월 7일

Abstract

subseasonal 예측은 사회의 여러 분야에서 중요하지만, 과학적으로 큰 도전 과제를 안고 있다. 최근 머신러닝 기반의 기상 예측 모델들이 유럽중기예보센터(ECMWF)의 수치예보를 뛰어넘는 성과를 보였으나, subseasonal 시계열에서는 기존 모델을 능가하지 못했다. 본 논문에서는 FuXi Subseasonal-to-Seasonal (FuXi-S2S)라는 머신러닝 모델을 소개하며, 이 모델은 42일까지의 글로벌 일평균 예측을 제공한다. FuXi-S2S는 13개 pressure level의 5개 upper-air atmospheric variables와 11개 surface variables를 포함하며, ECMWF의 ERA5 reanalysis data 72년치(일 단위)를 학습하여 훈련되었다.

FuXi-S2S는 ECMWF의 최첨단 Subseasonal-to-Seasonal 모델보다 총 강수량 및 외향 장파 복사(outgoing longwave radiation, OLR)의 앙상블 평균 및 확률 예측에서 우수한 성능을 보이며, 특히 강수량 예측 성능이 크게 향상되었다. 이러한 개선된 성능은 주로 예측 불확실성을 더 정확하게 포착하는 능력과 Madden-Julian Oscillation(MJO) 예측 능력의 향상에 기인한다. FuXi-S2S는 기존 30일까지 가능했던 MJO 예측 기간을 36일까지 연장했으며, MJO와 관련된 원격 상관(teleconnections)을 더 현실적으로 포착하는 것으로 나타났다.

또한 FuXi-S2S는 극한 기후 사건의 전조 신호(precursor signals)를 발견하는 데 활용될 수 있으며, 이를 통해 연구자들에게 새로운 통찰을 제공하고, 기후 과학의 패러다임을 새롭게 정의할 가능성을 가진다.

Subseasonal 예측의 중요성

Subseasonal이란?

Subseasonal 예측이라는 개념은 단기 예측과 장기 예측 사이의 예측 공백(gap)을 메우기 위해 생긴 것이다.

왜 Subseasonal 예측이 어려움?

  • 단기 예보(15일 이내)
    → 주로 초기 조건(initial conditions)에 의해 결정됨. 대기의 현재 상태를 정확히 측정하면 비교적 정확한 예측이 가능함.
    → 예: 내일 비가 올지, 다음 주에 폭염이 올지 예측.

  • 장기(계절) 예보(수개월~계절 단위)
    → 주로 경계 조건(boundary conditions)(해수면 온도, 눈 덮임, 해류 등)의 영향을 받음.
    → 대기보다는 천천히 변하는 요소(예: 엘니뇨, 해류 변화)를 기반으로 예측.
    → 예: 올해 여름이 평년보다 덥거나 추울지, 가을 강수량이 많을지 예측.

  • Subseasonal 예보(2~6주)
    → 단기 예보의 초기 조건도 희미해지고, 장기 예보의 경계 조건도 충분히 반영되지 않는 구간
    → 대기와 해양의 복잡한 상호작용을 다뤄야 하는데, 이 기간 동안 대기의 혼돈성이 증가하면서 예측 정확도가 급격히 낮아짐.
    → 그래서 "예측 가능성의 사막(predictability desert)"이라 불림.

Subseasonal 예측이 어려운 이유는?

  • 초기 조건 기반 예측(단기 예보)의 정보는 사라지고,
  • 경계 조건 기반 예측(장기 예보)의 영향은 아직 뚜렷하지 않기 때문

Subseasonal 예측의 중요성

Subseasonal 예측은 2주에서 6주 후의 기상 패턴을 예측하는 것으로, 일반적으로 15일까지의 단기 예보와 계절적·장기 기후 예측 사이의 중요한 간극을 메운다. 이 중간 규모의 예측은 농업 계획, 재난 대비, 폭염, 가뭄, 홍수, 한파와 같은 극한 기상 현상의 영향 완화, 수자원 관리 등 다양한 분야에서 필수적이다. 그러나 중기 기상 예측과 계절 예측에 비해 상대적으로 연구와 관심을 덜 받아왔다. 이는 과거에 정확한 subseasonal 예측이 거의 불가능하다고 여겨졌기 때문이다.

Subseasonal 예측은 단기 기상 예측에서 중요한 atmospheric initial conditions과 계절 및 기후 예측에서 핵심적인 지구 표면 경계 조건(boundary conditions)을 모두 고려해야 하기 때문에 특히 어렵다. 하지만 이 두 가지 요소만으로는 충분한 예측 가능성을 제공하지 못해, subseasonal 예측은 "예측 가능성의 사막(predictability desert)"이라고도 불린다. 이러한 어려움에도 불구하고, 최근 물리 기반 모델과 통계 기반 모델의 발전으로 인해 전 세계적으로 정기적인 subseasonal 예측이 가능해졌다. 그럼에도 불구하고 다양한 분야에서 의사결정을 지원하기 위해 subseasonal 예측의 지속적인 발전에 대한 강한 수요가 존재한다.

전통적인 물리 기반 수치 기상 예측(NWP) 모델을 기반으로 한 앙상블 예측 시스템(EPS) 개발은 subseasonal 예측 정확도를 향상시키는 효과적인 방법이다. 주요 예보 기관들은 이러한 EPS를 subseasonal 예측에 도입해왔다. 그러나 이러한 시스템은 상당한 bias를 보이는 경우가 많으며, 특히 extreme 기상 현상을 예측하는 데 어려움이 있다.

Computational cost & perturbation

이 분야의 두 가지 주요 과제는 계산 비용의 제한 내에서 충분한 앙상블 크기를 확보하는 것과, 대기 및 해양의 주요 변동성을 정확하게 반영하는 앙상블 perturbation을 설계하는 것이다. 앙상블 크기를 늘리는 것은 예측 성능 향상에 도움이 되지만, 상당한 계산 비용으로 인해 국제적인 11개 예보 기관에서 운영하는 앙상블 크기는 일반적으로 4~51개로 제한된다. 계산 비용의 한계를 고려할 때, 머신러닝 모델은 직접적인 subseasonal 예측을 위한 대안으로 떠오르고 있다.

머신러닝 모델은 계산 효율성이 크게 향상되어 있으며, 예측 정확도와 신뢰성에 중요한 역할을 하는 대규모 앙상블 생성을 가능하게 한다. 최근 중기 기상 예측을 위한 머신러닝 연구는 유럽중기예보센터(ECMWF)에서 생성하는 고해상도 예측(high-resolution forecasts, HRES)보다 우수한 성능을 보일 수 있음을 입증했다. ECMWF의 HRES는 현재 가장 정확한 전지구적 기상 예측으로 간주되고 있다.

머신러닝 모델은 중기 기상 예측과 계절 예측에서 상당한 발전을 이루었지만, subseasonal 예측에서는 상대적으로 성공이 미미했다. 이러한 한계는 주로 모델에 포함된 변수의 범위가 제한적이며, 앙상블 생성을 위한 기존 방법이 부족하기 때문이다. 기존의 머신러닝 기반 앙상블 예측 기법은 initial condition에 random perturbation을 추가하거나 모델 구조를 변경하는 방식이지만, 이는 배경 흐름을 고려하지 않아 앙상블 확산이 빠르게 감소하는 문제를 초래한다. 이러한 복잡성을 충분히 반영하지 못하면 기존의 머신러닝 기반 subseasonal 예측 모델의 성능이 제한되며, 이는 여전히 전통적인 NWP 기반 EPS 수준에 미치지 못한다.

Introduce FuXi-S2S

이러한 문제를 해결하기 위해, 본 연구에서는 subseasonal 예측을 위한 FuXi Subseasonal-to-Seasonal (FuXi-S2S) 모델을 제안한다. 이 모델은 initialization 후 42일 동안의 전 지구적 일평균 예측을 생성하도록 설계되었다. 기존 모델들이 제한된 변수만을 사용했던 것과 달리, FuXi-S2S는 훨씬 더 포괄적인 변수를 포함한다. 기존 모델에서는 몇 가지 변수만 사용했으나, FuXi-S2S는 13개 pressure levels에서 5개의 upper-air atmospheric variables를 포함하고, 11개의 surface variables를 추가하여 보다 정교한 예측이 가능하도록 설계되었다.

Model architecture

Encoder, Perturbation Module, Decoder로 구성된다. VAE영감을 받았다고 한다.
sequence와 spatial data를 잘 처리 할 수 있어 선호되는 구성이다. 하지만 본질적으로 확률적 모델이므로 정량화가 필요하고 단순히 input data에서 hidden feature를 생성하는 것이 아닌 input data를 latent space에서 Gaussian distribution으로 변환하여 확률적 특징을 capture하는 것이다.
그 후 Decoder는 sampling한 값과 hidden feature를 결함하여 예측을 생성한다.

Encoder

  • daily mean 값을 예측하도록 설계되어 있으며, 두 개의 time step의 예측된 기상 매개변수를 처리

  • 각 시점은 하루를 나타내며, 따라서 인코더는 X^t−1\hat{X}_{t-1} 및 X^t\hat{X}_t 를 입력으로 받는다.

  • 이 입력 데이터는 kernel size 2의 2D Conv layer를 거쳐 dimension이 절반으로 줄어든다.

  • 이후, 12개의 Transformer Blocks 을 통해 hidden feature hth_t를 도출한다

  • hidden feature dimension 1536 x 60 x 120 이다

  • Encoder의 input은 upper-air 및 surface variable가 결합된 데이터 큐브이며, dimension은 2 x 76 x 121 x 240
    2는 두 개의 시점(t-1,t), 76은 input 개수, 121x240은 위경도, grid point이다.

Forecast Lead Time도 입력에 포함되어 시간이 지남에 따라 축적되는 예측 오차를 반영한다.

Perturbation Module

이 module은 방대한 과거 데이터를 활용하여 확률 분포를 학습하며, 이를 통해 모델의 hidden features 내에 flow-dependent perturbation을 도입한다. 기존의 NWP 앙상블 예측 방법은 다변수 간의 복잡한 상호작용과 동적 균형을 유지하는 문제로 인해 initial condition perturbation을 구성하는 데 어려움을 겪지만, FuXi-S2S의 접근 방식은 perturbation을 모델의 latent space 내에서 직접 도입하여 보다 효과적인 대안을 제시한다.

이러한 perturbation은 FuXi-S2S의 예측 성능을 크게 향상시키며, 이는 보충 자료의 그림 1에서 확인할 수 있다.
인코더는 hidden feature hth_t외에도, Low-Rank Multivariate Gaussian Distribution 를 생성한다: N(Θpt)N(\Theta^t_p)

이 Gaussian Distribution는 다음의 parameter(128 x 60 x 120)를 가지고 있다.

  • Mean Vector: μt\mu_t
  • Covariance Matrix: σt\sigma_t
  • Diagonal Covariance Matrix

이 정규 분포에서 Intermediate Perturbation Vector zptz^t_p를 sampling 한다.

zpt∼N(Θpt),zpt∈R128×60×120z^t_p \sim N(\Theta^t_p), \quad z^t_p \in \mathbb{R}^{128 \times 60 \times 120}

이후, pretrained weight vector를 이용해 변환하여 Final Perturbation Vector ztz_t 를 생성한다

zt∈R1536×60×120z_t \in \mathbb{R}^{1536 \times 60 \times 120}

Decoder

디코더는 hidden + perturbation을 input으로 받는다

h~t=ht+zt\tilde{h}_t = h_t + z_t

이 후, 24개의 Transformer Blocks과 완Fully Connected Layer 을 거쳐 최종 앙상블 출력 X^t+1\hat{X}_{t+1}를 생성한다.

X^t+1=Decoder(h~t)\hat{X}_{t+1} = \text{Decoder}(\tilde{h}_t)

ensemble members의 수는 정규 분포 N(Θpt)N(\Theta^t_p) 에서 샘플링한 횟수에 의해 결정된다.

target data에서 유도된 정규분포와의 차이를 Knowldge Distillation 기법을 활용해 해결한다. 실제 데이터의 분포에서 모델이 예측한 분포로 정보를 tarnsfer 하는 과정이다.
Encoder는 QQ는 Target data를 정규 분포로 변환한다. 그 다음, KL divergence 손실 함수로 인코더가 생성한 PP와 QQ 두 분포간의 차이를 측정한다.

L=λLKL(Pt,Qt)+∣X^t+1−Xt+1∣L = \lambda L_{\text{KL}}(P_t, Q_t) + |\hat{X}_{t+1} - X_{t+1}|

FuXi-S2S 모델이 예측 정확도를 유지하면서도 불확실성을 효과적으로 모델링할 수 있도록 한다.

Ensemble

subseasonal ensemble forecasting을 위해 51개의 ensemble member를 사용한다. hideen features의 flow에 따라 변화하는 perturbation을 적용한 FuXi-S2S 모델은, initial condition에 Perlin noise를 추가하고, 고정된 perturbation의 hidden feature에 적용한 FuXi-S2S보다 예측 성능이 크게 향상되었다.
Perlin noise 추가는 앙상블 크기가 작을 때 acc에서 약간의 향상만 제공할 뿐이었다. 그러나, 본 연구에서 사용한 51개의 앙상블 멤버와 같은 대규모 앙상블에선s Perlin noise는 추가 향상 시키지 못하는 것으로 나타났다.

FuXi-S2S는 가장 정교한 S2S 모델링 시스템으로 인정받는 ECMWF의 subseasonal-to-seasonal(S2S) 앙상블을 능가하며, 앙상블 평균 예측과 확률 예측 모두에서 더 뛰어난 성능을 보인다. 특히 extreme total precipitation(TP) 예측에서 우수한 성능을 보이며, 2022년 파키스탄 홍수를 정확하게 예측한 사례가 이를 뒷받침한다.

이러한 성과는 FuXi-S2S가 글로벌 기후 패턴의 주요 원인 중 하나인 Madden–Julian Oscillation(MJO) 예측을 개선한 덕분으로, 기존 30일까지 가능했던 MJO 예측을 36일까지 확장하였다. 이러한 결과는 FuXi-S2S의 성능 향상이 perturbation module에 주로 기인함을 확인시켜준다.

또한 FuXi-S2S는 특정 기상 현상에 선행하는 전조 신호(precursor signals)를 탐지하는 능력을 갖추고 있다. 단순한 예측 정확도를 넘어, 머신러닝 기반 예측 모델이 실질적으로 활용되기 위해서는 모델이 의사 결정을 내리는 방식에 대한 이해와 검증이 필수적이다. 이러한 해석은 모델의 예측에 대한 신뢰도를 높이고, 특히 극한 기상 현상의 위험을 완화하는 데 있어 효과적인 대응을 가능하게 한다. 따라서 머신러닝 모델의 의사 결정 과정이 기존 기상학적 지식과 정합성을 갖추도록 해석하는 것이 중요하다.

최근 Explainable Machine Learning, XML 기법의 발전은 이러한 해석을 용이하게 만들었다. 본 연구에서는 2022년 파키스탄 홍수를 분석하며 FuXi-S2S 모델이 예측 정확도에 중요한 영향을 미치는 주요 지리적 지역을 식별하는 과정을 탐색하였다. 이를 위해 Saliency Map(살리언시 맵)을 생성하고 분석하였으며, 도출된 지역이 기존 연구 결과와 높은 일치도를 보임을 확인하였다.

따라서, FuXi-S2S는 기존의 물리 기반 수치예보(NWP) 모델을 정확성과 속도 면에서 뛰어넘으며, subseasonal 예측에서 기존에 인식되지 않았던 지구 시스템 내의 새로운 프로세스를 밝혀낼 가능성을 갖고 있다.

Result

본 연구에서는 2017년부터 2021년까지의 테스트 데이터를 활용하여 51개 앙상블 FuXi-S2S를 평가하였다. 동일한 기간 동안 ECMWF S2S 모델 주기 C47r3에서 생성된 11개 앙상블의 재예측 결과와 비교하였다.

분석은 주로 3주차(15~21일), 4주차(22~28일), 5주차(29~35일), 6주차(36~42일), 3~4주차, 5~6주차 예측의 평균 성능을 평가하는 데 초점을 맞추었다. 평가에는 다음과 같은 종합적인 지표가 사용되었다.

  • 앙상블 평균 deterministic 평가 지표
  • 모든 앙상블 멤버에 대한 probabilistic 평가 지표
  • MJO 예측 성능을 평가하는 지표
  • 극한 기후 사건 평가 지표(특히 2022년 파키스탄 홍수 예측 평가 포함)

또한, 본 연구에서는 FuXi-S2S 모델이 2022년 파키스탄 홍수를 예측하는 과정에서 작용한 근본적인 프로세스를 탐색하였다. 이를 위해 Saliency Map(살리언시 맵)을 생성하고 분석하여, 모델이 특정 지역과 변수를 어떻게 활용하여 예측을 수행하는지에 대한 심층적인 통찰을 제공하였다.

Deterministic metrics

이 절에서는 결정론적 지표(deterministic metrics)를 기반으로 FuXi-S2S와 ECMWF S2S의 앙상블 평균 예측 성능을 비교한다.

그림 1은 총 강수량(TP), 2m 기온(T2M), 500hPa 지위고(Z500), 외향 장파 복사(OLR)에 대한 전 지구 평균 및 위도 가중 시간적 이상 상관 계수(Temporal Anomaly Correlation Coefficient, TCC)를 나타내며, 예측 리드 타임 3주(15~21일), 4주(22~28일), 5주(29~35일), 6주(36~42일), 3~4주, 5~6주에 걸친 결과를 비교하였다. 통계적 유의성 검정은 "평가 방법(Evaluation method)" 절에서 설명한 방식으로 수행되었다. FuXi-S2S 예측이 ECMWF S2S 재예측보다 통계적으로 유의미한 향상을 보이지 않는 경우, 연한 색상으로 표시하였다.

그림1: ECMWF의 subseasonal-to-seasonal(S2S) 재예측(파란색)과 FuXi-S2S 예측(빨간색) 간의 전 지구 평균 및 위도 가중 시간적 이상 상관 계수(Temporal Anomaly Correlation Coefficient, TCC) 비교를 수행하였다. 비교 대상 변수는 총 강수량(TP), 2m 기온(T2M), 500hPa 지위고(Z500), 외향 장파 복사(OLR)이며, 2017년부터 2021년까지의 모든 테스트 데이터를 사용하여 분석하였다.
통계적 유의성을 검증하기 위해 1000번 반복한 부트스트래핑 기법을 사용하였으며, FuXi-S2S 예측이 ECMWF S2S 재예측 대비 통계적으로 유의미한 향상을 보이지 않는 경우 연한 색상으로 표시하였다(97.5% 신뢰 수준에서 검증).

분석 결과, FuXi-S2S는 TP와 OLR 예측에서 ECMWF S2S보다 유의미하게 뛰어난 성능을 보였으나, T2M과 Z500에서는 그렇지 않았다. 2017년부터 2021년까지의 테스트 데이터를 기반으로 계산된 평균 TCC를 보면, FuXi-S2S는 모든 리드 타임에서 TP와 OLR에 대해 ECMWF S2S보다 높은 TCC 값을 나타냈으며, Z500과 T2M의 경우에는 유사한 수준이었다. 특히 Z500 예측에서 FuXi-S2S는 3주, 4주, 5주, 3~4주 리드 타임에서는 ECMWF S2S보다 우수했지만, 6주 및 5~6주 리드 타임에서는 성능이 다소 떨어지는 경향을 보였다.

보충 자료 그림2

보충 자료의 그림 2에서는 ECMWF S2S와 FuXi-S2S의 시간 평균 TCC의 공간적 분포와 두 모델 간의 차이를 제공하며, TP, T2M, Z500, OLR 예측의 3~4주 및 5~6주 리드 타임에서의 성능 차이를 분석하였다. 공간적 TCC 분포를 보면 열대 지역에서 TCC 값이 상당히 높으며, 육지보다 해양에서 더 높은 값을 보였다. TCC 차이는 붉은색(양의 값, FuXi-S2S가 우수), 파란색(음의 값, ECMWF S2S가 우수), 흰색(차이 없음)으로 표시되며, FuXi-S2S가 ECMWF S2S보다 우수한지, 열세인지, 동등한지를 나타낸다.

전반적으로 FuXi-S2S는 TP와 OLR 예측에서 대부분의 지역에서 ECMWF S2S보다 더 높은 TCC 값을 기록했으며, 이는 그림 1의 결과와 일치한다. 또한, T2M과 Z500의 경우, FuXi-S2S는 대부분의 중위도 및 고위도(extra-tropical) 지역에서 ECMWF S2S를 능가했지만, 열대 지역에서는 성능이 다소 낮았다.

Probability metircs

결정론적 평가 지표(deterministic metrics)로 평가된 앙상블 평균 예측은 모든 subseasonal 예측 리드 타임에서 TCC 값이 0.5 이하로 나타나, 예측력이 제한적인 것으로 확인되었다. 따라서 subseasonal 시계열에서 예측 가능한 신호를 탐지하기 위해서는 앙상블 예측이 필수적이다.

그림2

그림 2의 첫 번째와 두 번째 행에서는 ECMWF S2S와 FuXi-S2S의 시간 평균 순위 확률 기술 점수(Ranked Probability Skill Score, RPSS) 공간 분포 및 3~4주, 5~6주 리드 타임에서 FuXi-S2S와 ECMWF S2S 간의 RPSS 차이를 보여준다. 이 분석은 2017년부터 2021년까지의 RPSS 데이터를 시간 평균하여 수행되었다.

그림 2의 첫 번째와 두 번째 열에서 붉은 윤곽선은 기후학적(climatology) 예측보다 더 우수한 예측을 나타내는 RPSS 양의 값이 존재하는 영역을 강조한다. 특히, FuXi-S2S는 ECMWF S2S보다 더 많은 지역에서 양의 RPSS 값을 기록하였다. 그림 2의 오른쪽 패널에서 붉은색, 파란색, 흰색으로 구분된 색상 코드는 각각 FuXi-S2S가 ECMWF S2S보다 우수한 지역, 열세인 지역, 성능이 유사한 지역을 나타낸다.

전 지구적인 RPSS 분포를 보면, ECMWF S2S와 FuXi-S2S 모두 열대 지역에서 높은 예측력을 보였으며, 중위도 및 고위도(extra-tropical) 지역에서는 기후학적 예측 대비 낮은 성능을 보였다. 반면, RPSS 값은 열대 지역에서 기후학적 예측보다 개선된 성능을 보였으며(붉은색으로 표시됨), 육지보다 해양에서 더 높은 값을 기록하였다.

전반적으로 FuXi-S2S는 대부분의 지역에서 TP 예측에 대한 긍정적인 RPSS 차이를 보였으며, 특히 ECMWF S2S의 예측력이 주로 열대 해양 지역에 국한된 것과 달리, FuXi-S2S는 동아시아, 북태평양, 북극과 같은 중위도 및 고위도 지역에서도 예측력이 우수한 것으로 나타났다.

그림 1에서 사용된 네 가지 변수(TP, T2M, Z500, OLR)에 대한 위도 가중 순위 확률 기술 점수(RPSS)는 보충 자료 그림 6에서 확인할 수 있다.

전반적으로, FuXi-S2S는 모든 변수에 대해 대부분의 지역에서 ECMWF S2S보다 높은 RPSS 값을 기록하였다. 이러한 우수성은 특히 중위도 및 고위도(extra-tropical) 지역에서 더욱 두드러졌다.

그러나 열대 지역에서는 ECMWF S2S가 3~6주 리드 타임 동안 1주 평균 예측에서 FuXi-S2S보다 뛰어난 성능을 보였으며, 반대로 FuXi-S2S는 2주 평균 예측에서 ECMWF S2S보다 우수한 성능을 나타냈다.

이러한 성능 차이는 1주 평균이 2주 이하의 짧은 주기 변동성을 걸러내는 반면, 2주 평균은 4주 이하의 변동성을 완화하기 때문으로 해석된다. 즉, 1주 평균에서는 ECMWF S2S가 상대적으로 더 나은 성능을 보이지만, 2주 평균에서는 FuXi-S2S가 저주파(low-frequency) 변동성을 더 효과적으로 포착하는 능력을 갖추고 있음을 시사한다.

또한, 이전 연구에 따르면 ECMWF S2S는 중동태평양 지역에서 보다 현실적인 대기-해양 상호작용을 모사하기 때문에, 이 지역에서 예측력이 우수하게 나타나는 경향이 있다.

Extreme Forcast

Subseasonal 예측의 주요 목표 중 하나는 가뭄과 홍수와 같은 극한 기상 현상을 예측하여 대비하는 것이다. 본 절에서는 극한 강수 사건(extreme precipitation events)에 대한 예측 성능에 초점을 맞춘다.

극한 강수 사건은 총 강수량(TP)이 기후학적(climatological) 90 percentile를 초과하는 경우로 정의된다. 이 임계값은 grid location, forecast initialization time, forecast lead time에 따라 달라진다.

그림 2의 마지막 두 행은 극한 강수 사건(extreme precipitation events)에 대한 시간 평균 브라이어 기술 점수(Brier Skill Score, BSS) 공간 분포를 나타내며, ECMWF S2S와 FuXi-S2S의 성능 비교 및 3~4주, 5~6주 리드 타임에서의 차이를 보여준다.

RPSS의 공간 패턴과 유사하게, FuXi-S2S는 ECMWF S2S보다 더 많은 지역에서 BSS 양의 값을 기록하였으며, 이는 FuXi-S2S가 기후학적 예측 대비 더 우수한 예측 성능을 보인 지역이 많다는 것을 의미한다. 또한, RPSS와 마찬가지로 BSS 값은 육지보다 해양에서 더 높게 나타났으며, 저위도에서 고위도로 갈수록 감소하는 경향을 보였다.

전반적으로, FuXi-S2S는 육지 및 중위도~고위도(extra-tropical) 지역에서 ECMWF S2S보다 더 높은 BSS 값을 기록하였으며, 이는 그림에서 광범위한 붉은색 패턴으로 나타난다. 이러한 결과는 FuXi-S2S가 육지와 중위도~고위도 지역에서 극한 강수량(TP) 예측 성능이 ECMWF S2S보다 뛰어나며, 이에 따라 재해 대비 및 조기 경보 시스템 구축에 있어 FuXi-S2S가 보다 효과적인 도구가 될 수 있음을 시사한다.


BSS를 비교하여 TP, T2M, Z500, OLR에 대해 다섯 개의 영역(Global, Extratropic, Tropics, Land, Sea)에 대해 FuXi-S2S, ECMWF S2S 성능을 평가하였다.
Global로 볼 때, FuXi-S2S는 TP, T2M, OLR 예측에서 ECMWF보다 더 높은 BSS를 기록하였다. ECMWF가 모든 LeadTime에서 TP에 대해 일관되게 음의 BSS값을 보였던 반면, FuXi는 3, 3-4, 5-6 leadtimed에서 양의 BSS값을 기록하여 더 나은 예측 선ㅇ을 보였다.
Tropics 지역에서는 TP와 OLR 예측에서는 T@M과 Z500에서 두 ㅁ델간 성능 차이가 크지 않았다.
Land지역에서 일관되게 더 높은 BSS값을 기록하며 Extrme rainfall과 high temperature에서 더 나은 예측을 하는 것을 시사한다.

MJO forecast

최근 연구는 subseasonal 예측 정확도를 향상시키기 위해 MJO를 정확하게 모델링 하는 것이 중요함을 보여준다. MJO는 quasi-periodic 특성을 가지며 subseasonal 예측에서 중요한 요소이다. MJO는 Global 및 기후에 큰 영향을 미치기 때문에 이를 정확하게 예측하는 것이 subseasonal 예측의 신뢰성을 확보하는데 필수적이다.
dynamical forecast 모델들은 MJO를 최대 3~3주까지 예측하지만 6~7주에는미치지 못한다. 머신러닝이 이를 개선하려는 연구가 진행되고 있는데, post-processing을 수행하거나 직접 예측하는 형식으로 적용되고 있다. 하지만, 머신러닝을 개선하는 것 만으로도 관련된 날씨현상(태풍, 몬순) 예측이 자동적으로 향상되는 것은 아니므로 모델 개선이 필요하다.
real time multivariate MJO와 bivariate correlation coefficient를 활용하여 MJO 예측 성능을 평가하였다. RMM 지수 검증을 위해 기후 예측 센터(CPC)의 OLR 데이터(CBO)와 함께 ERA5의 852hPa 및 200hPa 대기 흐름(zonal-wind)데이터를 사용하였다.

이는2017-2121 ECMWF S2S와 FuXi-S2S 예측의 RMM 지수 기반 COR 성능을 보여주는 것인데, lead time이 증가함에 따라 COR 값이 감소하는 경향을 보이지만, FuXi-S2S는 MJO예측에서 더 높은 COR 값을 유지하며, 최대 42일까지 우수한 성능을 보였다.
COR 0.5를 기준으로 판단해보면 기존 30일보다 36일까지 연장하여 ECMWF S2S를 능가하였다.
MJO 예측에서 현실적으로 잘 모사할 수 있음은, 중위도 및 고위도 지역에서 이상기후와 subseasonal 예측 성능을을 향상시키는 핵심적인 요인으로 작용한다.
예를 들어, 북반구 여름 계절 내 변동 (Broeal Summer Intraseasonal Oscillation) 북대서양 진동(North Atlantic Oscillation), 동아시아- 태평양 패턴 (East Asia-Pacific)등의 현상을 연구하는데 활용할 수 있다.

Prediction of the 2022 Pakistan floods

2022년 파키스탄 홍수는 7월 초~8월 말까지 몬순 강우를 경험했으며, 총 강수량이 기후학적 평균보다 4std이상 증가하는 extreme 강수 사건이 발생했다.
데이터는 Global precipitation Climatology Project에서 제공되었으며 파키스탄 지역을 대상으롤 8월16일부터 8월 31일까지 2주간 평균된 값인데,
실제 관측된 강수량은 평균보다 6std 이상 증가한 것으로 관측 되었다.
ECMWF와 FuXi를 비교해보면, ECMWF는 심각하게 과소평가 했으며(그림 b) 실제 관측값의 1/3 수준에 불과했다. 실제 사건에 가까워 질수록 점차 관측값에 수렴하는 경향을 보였지만, FuXi는 강도를 더 정확하게 예측했으며 훨씬 이른 시점에서 정교한 예측을 제공했다.
블랙박스의 불투명도의 신뢰성 문제를 개선하기 위해 Saliency Map을 생성하였다. 그림 4c의 녹색 박스에서 평균된 TP이상 값의 절댓값을 음수로 변환한 값을 loss function로 설정하여 backpropagation gradient를 계산함으로써 살리언시 맵을 생성하였다.
Blue는 TP 증가, red는 TP 갑소인데 이를 통해 전조신호(precursor signal)을 식별할 수 있었다.

Discussion

background flow dependent perturbation을 모델의 hidden features에 직접적용하는 방식이 우수한 성능을 보인 주요 이유중 하나이다. 공정한 평가를 위해 51개 앙상블 했지만 101개까지 앙상블 해본 결과 더 성능이 좋은 것으로 나타났다. 아래 그림 참조.

한계점 또한 존재하였는데, 첫 번째는 공간 해상도이다. ECMWF는 36km 해상도인 반면 FuXi-S2S는 1.5º (약 165km) 해상도로 상대적으로 낮다.
두 번째로는 예측 변수가 현재 50hPa(성층권 하부)까지만 예측이 가능며, 특정 응용 분야에서 활용이 제한적이다.

profile
송용호
Weather Forecasting, Computer Vision, Dacon AI Competition
이전 포스트

ArchesWeather 논문 리뷰: An efficient AI weather forecasting model at 1.5º resolution

0개의 댓글