[논문 리뷰] Probabilistic Weather Forecasting with Deterministic Guidance-based Diffusion Model

📝 논문에서 사용한 약어

DGDM: Deterministic Guidance-based Diffusion Model
DB: Deterministic Branch
PB: Probabilistic Branch
BB: Brownian Branch

1. Introduction

기존에 날씨를 예측하기 위한 모델로 NWP (Numerical Weather Prediction)가 사용되었다. 하지만 이 방법은 10일 정도의 미래를 예측하려고 해도 엄청난 계산량을 요구하고 super computer를 사용해야 한다는 한계가 있다. 뿐만 아니라, 계산량이 많음에도 NWP 모델의 grid보다 작은 현상들은 잡아내지 못하는 문제도 있다. 또한, 대기 현상의 고유의 비선형성과 무작위성 때문에 정확한 결과를 도출하지 못하는 단점이 있다. 이러한 비선형성과 무작위성을 다루기 위해 NWP는 input에 작은 무작위성을 추가해 여러 input을 생성하고 여러 시나리오를 만들어낸다. 이것을 Ensemble Forecasting이라 한다. 그렇지만 이 전체 과정이 너무 많은 계산량과 시간을 요구한다는 점에서 NWP는 한계를 가진다.
그 다음에 나온 Data-driven weather forecasting 은 이러한 문제를 일부 해결하였다. Data-driven weather forecasting 중 detemerministic model의 경우, 10일 정도의 미래를 예측하는 테스크에 있어 NWP를 능가했지만, 여전히 deterministic forecasting이라는 점에서 uncertainty를 포함하지 않아 날씨의 확률성을 잡아낼 수 없다는 한계가 있다. 반면에 data-driven weather forecasting 중 probabilistic model의 경우, 날씨의 확률성은 잡아내지만 그로 인해 여러 결과가 도출되어 sample selection을 해야하므로 결과적으로 GT(ground truth)와 꽤 다른 결과를 생성한다는 단점이 있다.
즉, data-driven weather forecasting은 deterministic model과 probabilistic 모델 간의 trade-off 관계에 있다.

📒 정리

• Deterministic Model: high accuracy, low ensemble capability
• Probabilistic Model: generate diverse samples, low accuracy

2. DGDM

a) Two Branches:

Deterministic Branch (DB)
Probabilistic Branch (PB)

b) Training Phase:

DB:
> input = observed weather condition
> aim = minimize discrepancies with the future weather condition
PB:
> input

---

Sequential Variance Schedule (SVS):
> Shorter diffusion steps for near future, longer steps for distant future (reverse process에서는 반대로)

c) Inference Phase:

DB의 결과로부터 Pseudo Intermediate State을 도출
> Truncated Diffusion = Diffusion의 reverse process가 initial state부터 시작하지 않고 pseudo intermediate state부터 시작한다
> Truncated diffusion의 장점 = possible future weather의 결과값의 개수와 diffusion step을 줄일 수 있다

d) Method

Training Phase: DB와 PB가 동시에 진행됨

1. Deterministic Branch (DB)

   Non-autoregressive structure: 소요 시간이 늘어날 수록 accuracy가 낮아지는 것을 방지할 수 있음

2. Probabilistic Branch (PB)

   Diffusion model using Brownian Bridge: diffusion 과정에서 생성되는 probability distribution은 start/end point에 영향을 받는다.
   (일반적인 diffusion의 probability distribution은 noise에 영향을 받음)

   start point: $y = x_0$
   end point: $x = x_T$
   Diffusion model using Brownian Bridge의 계산식:
   p($x_t | x_0, x_T) = N\Big((\frac{1-t}{T})x_0 + \frac{t}{T} x_T,\frac{t(T-t)}{T}I\Big)$

3. Deterministic Guidance-based Diffusion Model (DGDM)

   일반적인 diffusion 모델은 noise로부터 생성되지만, BB diffusion 모델은 input으로부터 생성된다.

   이에 따라
   이슈 1: y의 $\hat{L}$가 $x$의 $L$과 일치해야 한다
   이슈 2: $x$의 first frame과 $y$의 last frame 사이의 시간 간극이 크다. (다른 frame들도 마찬가지)

   이런 이슈들 때문에 PB에서는 x의 Last Frame(LF)만을 사용한다.
   $x$의 Last Frame은 예측하고자 하는 future frame과 가장 차이가 적어 효과적이다.
   Last Frame으로 $\hat{L}$의 길이만큼 output을 생성하면 되므로 이슈 1을 해결할 수 있다.

4. Sequential Variance Schedule (SVS)

   먼 미래를 예측할 때 정확도가 낮아지는 문제를 해결하기 위한 방법
   각 frame에 대하여 다른 diffusion step을 적용한다
   가까운 미래는 더 작은 diffusion step을 사용하여 더 먼저 생성된다. 이렇게 생성한 가까운 미래 frame은 그 다음 먼 미래를 예측하는데 사용되므로 먼 미래 예측의 정확도를 높일 수 있다.

5. . Inference

   Diffusion model의 reversed process는 $x_0 = y$를 구하는 과정.
   $x_t$에서 $x_{t-1}$로 점진적으로 이동하며 만들어진다.

   • Truncated Diffusion with Deterministic
     DB의 output인 $\hat{y}$을 input으로 하는 diffusion이다.
     정확히 말해, $\hat{y}$을 앞선 diffusion forward process 식에 대입해 $\hat{x}_t$ (pseudo intermediate state)를 도출하고, 이 값을 reverse process에서 $x_T$ 대신 대입한다.
     Deterministic Branch의 output을 사용함으로써 PB의 diversity를 줄일 수 있어 정확도를 높일 수 있다.
     뿐만 아니라, diffusion step을 줄여 inference 시간을 단축시킬 수 있다.

논문 출처: https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/04326.pdf