[Paper Review] Unicorn: U-Net for Sea Ice Forecasting with Convolutional Neural Ordinary Differential Equations
Paper Review
Abstract
북극의 해빙은 전 세계 기후 역학에 매우 중요한 역할을 함. 그러나 해빙을 정확히 예측하는 것은 여러 변수 간의 복잡한 상호작용으로 인해 큰 도전 과제임. 다양한 input을 통합하고 강력한 성능을 매끄럽게 구현할 수 있는 능력 -> **해빙 예측+신경망**
매주 해빙을 예측하기 위해 설계된 새로운 딥러닝 아키텍쳐인 'Unicorn' 소개
-> 예측 성능을 향상시키기 위해 다수의 시계열 이미지들을 아키텍처 내에 통합한다.
또한, U-Net 내에 bottleneck layer를 도입해, 컨볼루션 연산과 결합된 neural ordinary differential equations를 활용해 잠재 변수의 시공간적 동역학을 포착한다.
1998~2021까지의 데이터셋을 활용한 실데이터 분석을 통해, 제안된 모델은 해빙 농도 예측 과제에서 기존 최첨단 모델 대비 유의미한 성능 향상을 보여줌.
평균 MAE 기준으로 약 12%의 개선 달성 + 해빙 범위 예측의 분류 성능 18% 향상
1. Introduction
Arctic Amplification : 북극에서 기온이 전 세계 평균보다 4배 빠르게 상승하는 현상 -> 북극이 기후 변화의 지표임 .
해빙의 감소 -> 지표면 온도 상승과 albedo 저하를 초래 -> 해빙이 반사하던 복사에너지의 일부가 지표에 흡수되도록 만들어 북극 증폭을 더욱 가속화하는 일련의 긍정적 기후 피드백 메커니즘을 유발.
Monthly average sea ice concentration
-> 1979년부터 2020년까지 6월의 해빙 농도는 명확히 감소하는 경향 나타냄.
이러한 경향은 인위적 기후 변화의 영향과 함께 multi-layer ice와 해빙 두께의 급격한 감소와 맞물려, 향후에도 해빙의 축소와 얇아짐이 지속될 것으로 예상된다.
현재의 기온 상승 속도를 기준으로 한 예측에 따르면, 2050년까지 여름철 북극에서 해빙이 완전히 사라질 가능성이 제기되고 있다.
해빙 예측의 두가지 주요 목표
- 픽셀 수준의 해빙 농도 (SIC; Sea Ice Concentration) 예측 (시간적)
- 전체 해빙 범위 (SIE; Sea Ice Extent) 예측 (공간적)
시간적 SIC 월별 평균 시계열 데이터
1월부터 12월까지의 평균 SIC 시계열이 뚜렷한 경향을 보여주고 있음.
8월에 해빙 면적이 가장 적고, 12월에 해빙 농도가 최고치를 기록한다.
공간적 전체 해빙 범위 SIE 예측
7월의 해빙 경계는 감소 추세일 경우 안쪽으로 이동, 10월 증가 추세일 경우 바깥쪽으로 확장되는 경향
다양한 선행 연구 사례?
- IceNet : 딥러닝을 활용해 해빙 경계를 성공적으로 예측한 사례
- 공간적 attention 모듈을 딥러닝 모델에 통합하는 방식
한계?
- non-stationary 또는 trend shift를 효과적으로 다루는 데 한계 존재.
- 공간 및 시간 동역학을 별도로 모델링하는 구조 (예: 공간 어텐션 후 시간 어텐션) 에서는 복합적인 상호작용을 완전히 포착하지 못하는 문제가 있다.
논문의 제안점 ?
- Neural ODE (신경 보통미분방정식, NODE)와 ConvNODE를 도입해, 이미지 시계열 내 비정상성을 보다 효율적으로 파라미터화할 수 있도록 한다.
- 시계열 성분의 정보 손실 완화를 위해 인코더 단계에서 시계열 성분을 분해하여 입력 데이터층에 통합하는 전략
(분해 기반 예측 모델 : 시간 정보를 유지하면서 trend를 효과적으로 추출해 비정상 시계열 예측에서 성능을 향상시킨다._)- IceNet이 기후 변수를 보조 정보로 사용한 것처럼, 본 모델도 SIC 이미지 및 보조 정적 정보를 통합해 예측 성능을 향상시킨다.
Unicorn (U-Net for sea Ice forecasting using Convolutional OpeRation
Node).
- ConvNODE + bottleneck of the U-Net structure
- Unicorn utilizes the local spatial context within the images
- 데이터 시간 순서를 유지함으로써 예측 성능을 높임
- 보조 정적 이미지 데이터를 통합해 해빙 농도 예측의 정확도를 향상
본 논문의 주요 기여?
- 해빙 시계열 이미지와 보조 정적 정보를 융합해 예측 정확도를 높이는 효율적인 딥러닝 기반 아키텍처 제안.
- 신경 보통미분방정식을 활용한 새로운 시공간 모델링 프레임워크를 제안함.
- 실제 데이터분석에서 제안된 모델은 기존 최신 기법들을 능가하는 성능을 보이며, SIC 및 SIE 예측에서 1~4주 후 예측까지 가능한 성능 향상을 달성함.
2. Related Work
기후 예측 시스템(CFSv2): 대기 및 해양 역학과 해빙 구성 요소를 통합해 SIE 예측
-> 물리 법칙에 기반한 모델은 계산비용 크고, 통계 기반 모델에 비해 성능 낮음
3. Dataset and Preprocessing
3.1 SIC dataset
3.2 TB dataset
3.3 SIA dataset
4. Proposed Method
4.1 Decomposition
4.2 Encoder
4.3 ConvNODE
4.4 Decoder
4.5 Training
5. Experiment
5.1 Metrics
5.2 Compared Models
5.2.1 Baseline models
5.2.2 Domain-specific models
5.3 SIC forecasting performance
5.4 SIE forecasting performance
5.5 Ablation study
6. Conclusion
1. 해빙의 비정상성 문제를 해결하기 위해 국소 시계열 분해 (local time series decomposition)를 적용한 ConvNODE 모델 개발.
2. 해수온도 (brightness temperature) 및 해빙 범위 (sea ice coverage)와 같은 부가 정보 (ancillary data)를 통합하는 방식 제안
Unicorn과 변형모델 (각 구성 요소 제거한 모델들)의 월별 성능 비교
- RMSE : 오차
- IIEE : 해빙 범위 예측 정확도 지표
- SIC 평균 값 : 월별 해빙 농도 평균
| 모델 구성 | 설명 |
|---|---|
| 🟩 U-Net | 기본 모델 |
| 🔵 w.o DCMP | 성분 분해 제거 |
| 🟠 w.o ConvNODE | ConvNODE 제거 |
| 🟡 w.o ancillary data | 부가 데이터 제거 |
| 🔴 Unicorn | 제안 모델 |
관찰 결과
- Unicorn 모델이 대부분의 달에서 가장 낮은 RMSE와 IIEE : 가장 정확한 예측 성능
- SIC 평균에서도 보다 안정적인 추세를 보임
한계점 및 향후 연구 방향
1. 연산 비용이 높음
여러 시간 지점 (timestamps)에서 잠재 변수 및 이미지들을 생성하고 업샘플링해야 하기 때문에,다른 모델에 비해 학습해야 할 파라미터가 많고 연산량도 많음.
2. 설명 가능성 부족
딥러닝 모델 특성 상, 예측 결과가 왜 그렇게 나왔는지 해석이 어려움 (???????)
해결 방안
- 설명가능한 신경망 도입 (가변 선택 네트워크)
- 해빙 예측 문제를 멀티태스크 학습으로 재정의해 SIC, SIE 동시 예측
- Canonial Correlation Analysis -> 공유 표현 및 특화 표현 해석
