Decomposing Weather Forecasting into Advection and Convection with Neural Networks

convection 과 advection 을 위한 GAT & MLP

model architecture

• grid-to-node encoder : 그리드 데이터를 그래프 구조로 바꿈
• GAT-MLP Model : 2 layer GAT for advection, 4 layer MLP for convection.
  advention은 GAT로 하고 convection은 MLP로 한 이유가 있나?

  gat는 spatial 관계를 잘 잡고 MLP는 vertical column에서 물리적인 processes을 잘잡음

• Node-to-grid : 디코더

이 부분에 대해서 GAT vs MLP 를 평가했는데,

Gat만 사용하는 경우 일 변화를 제대로 반영하지 못했고,
MLP만 단독으로 사용하는경우 몇 번 반복 이후 예측 결과가 불안정해지고 발산하였음.
결합했더니 잘되더라~

또한 시간과 위치 정보를 임베딩하여 추가했을 때 T2m의 예측 성능이 향상되었다.
모델이 온도의 주기적인 변화를 잘 학습함.

주변 정보(3x3) 그리드 정보를 추가했을 때 모델의 성능이 향상되었으나, 장기 예측에서는 불확실성이 증가했음.

Dataset

weatherbench 에서 가져왔음.
5.625도 해상도.

Performance

RMSE, ACC에 대해서 평가.
첫번째 줄이 prediction이고 두번째가 GT.

다른 모델이랑 평가한 결과:

확실히 T2M에서 안정적인데... 장기는 어떨지 모르겠음.

Etc

4개의 이웃 노드를 연결하는 5 엣지 구조가 다른(8개의 이웃 노드를 연결하는 9엣지 구조) 구조보다 Z500 & T850 에서 더 나은 성능을 보였다.

2개 GAT랑 4개 GAT비교

4개가 더 좋았음. 5개는 오히려 안좋아짐.

레이어별로 비교해서 확인하는 것도 나쁘지 않은듯. 합리적이라고 생각든다.

thoughts

나는 물리적인 무언가를 사용하는 줄 알았는데 ... 그냥 adv. conv.별로 다른 모델을 사용한 것이었음. 근데 분석을 엄청 디테일하게 해서 옹... 합리적이라고 생각했고 도움이 많이 됐다.