PINT: Physics-Informed Neural Time Series Models with Applications to Long-term Inference on WeatherBench 2m-Temperature Data

JoJo's Velog·2025년 7월 9일
post-thumbnail

본 글은 https://arxiv.org/pdf/2502.04018 논문을 생성형 AI와 함께 리뷰한 글입니다.

1. Intro

우리 주변의 수많은 현상들은 시간에 따라 주기적으로 움직인다. 사계절의 변화, 하루의 기온 변화, 에너지 사용 패턴 등은 모두 명확한 반복성을 가지고 있다. 이런 데이터를 예측하기 위해 다양한 시계열 모델들이 사용되어 왔지만, 대부분은 과거 데이터의 패턴을 학습하는 데에만 집중하고 있다. 실제 세계의 물리 법칙을 이해하거나 반영하는 데는 한계가 있다는 것이 문제다.

이런 단점은 특히 기후와 같이 물리적인 원인이 분명한 시스템에서 두드러진다. 예측이 아무리 정확해도, 그 결과를 설명할 수 없다면 실전에서는 신뢰하기 어렵다. 단순히 숫자를 맞추는 것을 넘어서, 왜 그런 결과가 나왔는지 해석할 수 있는 모델이 필요한 이유다.

이러한 문제의식을 바탕으로 제안된 것이 PINT (Physics-Informed Neural Networks for Time Series)다. PINT는 단순 조화 진동자 방정식, 즉 사인과 코사인 함수로 표현되는 주기 모델을 신경망 내부에 통합해, 데이터 기반 학습과 물리 기반 직관을 함께 담아낸 프레임워크다.

기존의 RNN, LSTM, GRU처럼 반복 구조를 유지하면서도, 물리 제약을 적용함으로써 더 안정적인 장기 예측과 물리적으로 해석 가능한 결과를 동시에 추구한다. 데이터만 보는 AI에서, 물리 법칙까지 아는 AI로 — PINT는 그 방향성을 보여주는 새로운 시도다.

2. Methodology

2.1. Recurrent Neural Networks (RNN)

RNN은 이전 시점의 정보를 다음 시점으로 전달하며 학습하는 구조로, 시간적 의존성을 반영할 수 있다는 장점이 있다. 오늘의 날씨가 내일에 영향을 주는 것처럼, 시계열 데이터에는 앞뒤 관계가 중요한 경우가 많기 때문이다.

하지만 RNN은 시퀀스가 길어질수록 이전 정보를 잘 잊어버리는 기울기 소실(vanishing gradient) 현상이 발생한다. 이로 인해 짧은 범위 내의 패턴은 잘 학습하지만, 장기적인 흐름을 기억하고 예측하는 데는 한계가 있다.

그럼에도 불구하고 RNN은 시계열 모델의 기본이 되는 구조로, 이후 소개될 LSTM, GRU, 그리고 PINT 모델과 비교 평가할 수 있는 기준점 역할을 한다.

2.2 Long Short-term Memory Networks (LSTM)

LSTM은 RNN의 단점을 보완한 구조로, 정보를 선택적으로 저장하고 잊을 수 있는 '게이트' 구조를 갖는다. 덕분에 과거 데이터를 오래 기억할 수 있어, 기울기 소실 문제를 효과적으로 해결한다.

복잡한 시간 패턴을 잘 잡아내기 때문에, 기후 예측처럼 장기 시계열이 중요한 분야에서 자주 활용된다.

2.3. Gated Recurrent Units (GRU)

GRU는 LSTM보다 더 단순한 구조를 갖는다. 입력 게이트와 망각 게이트를 하나로 합쳐 계산량을 줄이고 학습 효율을 높인 모델이다.

구조는 간단하지만, 장기 의존성도 잘 학습하며, 실제 성능도 LSTM과 유사한 수준으로 평가되고 있다.

2.4 Physics-Informed Neural Time Series Models (PINT)

PINT는 단순히 데이터를 따라가는 것이 아니라, 예측이 물리 법칙에 맞도록 유도하는 시계열 모델이다. 핵심은 신경망 학습에 물리 기반 제약을 함께 반영한다는 점이다.

기후 데이터처럼 주기성이 뚜렷한 경우, 다음과 같은 조화 진동자 방정식으로 계절성 패턴을 설명할 수 있다:

u′′(t)+ω2u(t)=0u''(t) + \omega^2 u(t) = 0

여기서 ω=2πT\omega = \frac{2\pi}{T}, TT = 365 (1년 단위의 주기), 즉 기후 변화의 주기성을 사인과 코사인 함수 형태로 표현할 수 있다는 뜻이다.

PINT는 이 물리 방정식을 손실 함수에 직접 넣어 모델이 자연스럽게 이를 따르도록 만든다.
즉, 기존의 데이터 기반 오차(LdataL_{data})뿐 아니라, 예측이 조화 진동자 방정식을 얼마나 잘 만족하는지를 측정하는 물리 기반 손실(LphysicsL_{physics})도 함께 고려한다.

Lphysics=1N∑i=1N(u’’(ti)+ω2u(ti))2L_{physics} = \frac{1}{N} \sum_{i=1}^{N} \left( u’’(t_i) + \omega^2 u(t_i) \right)^2

최종 손실 함수는 다음과 같이 두 항의 가중 합으로 구성된다:

Ltotal=λdataLdata+λphysicsLphysicsL_{total} = \lambda_{data} L_{data} + \lambda_{physics} L_{physics}

  • λdata\lambda_{data}: 일반적인 예측 오차의 가중치 (보통 1)
  • λphysics\lambda_{physics}: 물리 제약 오차의 가중치 (튜닝 가능)

2.5. Linear Regression under Physics’s Law

PINT의 성능을 평가하기 위해, 논문에서는 선형 회귀 기반의 간단한 기준 모델을 함께 사용한다.
이 모델은 복잡한 신경망 대신, 사인과 코사인 함수만으로 계절 주기를 표현한다.

x(t)=β1cos⁡(ωt)+β2sin⁡(ωt)x(t) = \beta_1 \cos(\omega t) + \beta_2 \sin(\omega t)

여기서 ω=2π365\omega = \frac{2\pi}{365}, 즉 1년 주기의 주파수를 사용한다.
이는 기후 데이터가 연간 반복되는 주기성(seasonality)을 갖는다는 점에 착안한 수식이다.

2.6. Autoregressive Inference for Long-Term Forecasting

기후 예측처럼 장기적인 추세가 중요한 문제에서는, 오토리그레시브(Autoregressive) 추론이 효과적인 전략으로 사용된다. 이 방식은 모델이 스스로 예측한 값을 다시 입력으로 사용하며 미래를 점점 더 멀리 내다보는 구조이다.

예측 흐름은 초기 관측값을 기반으로 첫 번째 예측을 수행하고, 그 예측값을 기존 입력에 이어 붙여 새로운 입력을 구성한 후, 이 과정을 반복하여 장기 예측을 달성한다.

이렇게 하면 중간에 새로운 관측 없이도 계속해서 예측을 이어갈 수 있으며, 예측 간 일관성을 유지할 수 있다는 장점이 있다. 특히 RNN, LSTM, GRU 같은 순환 신경망과 잘 어울리며, 기후 데이터처럼 주기성과 추세가 모두 중요한 경우에 매우 효과적이다.

2.6.1. Performance Metrics

  1. RMSE (Root Mean Square Error, 평균 제곱근 오차)

  • 예측값이 실제값과 얼마나 차이 나는지를 평균적으로 측정하는 지표

    RMSE=1N∑i=1N(yi−y^i)2\text{RMSE} = \sqrt{ \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 }

    yiy_i는 실제 값, y^i\hat{y}_i는 예측 값, NN은 전체 샘플 수

  • 값이 작을수록 예측 정확도가 높다는 것을 의미

  1. CORR (Correlation Coefficient, 상관 계수)
  • 예측값과 실제값 사이의 선형 관계를 측정
    CORR=∑i=1N(yi−yˉ)(y^i−y^ˉ)∑i=1N(yi−yˉ)2⋅∑i=1N(y^i−y^ˉ)2\text{CORR} = \frac{\sum_{i=1}^{N}(y_i - \bar{y})(\hat{y}i - \bar{\hat{y}})}{\sqrt{\sum{i=1}^{N}(y_i - \bar{y})^2} \cdot \sqrt{\sum_{i=1}^{N}(\hat{y}_i - \bar{\hat{y}})^2}}
    yˉ\bar{y}와 y^ˉ\bar{\hat{y}}는 각각 실제값과 예측값의 평균
  • 값이 1에 가까울수록 예측 경향이 실제와 잘 맞아떨어진다는 의미

3. Data

3.1. ERA5 WeatherBench

PINT는 실제 기후 예측 성능을 확인하기 위해 WeatherBench의 ERA5 데이터셋을 사용했다. 이 데이터는 유럽중기예보센터(ECMWF)에서 제공하는 고정밀 기후 재분석 자료이다.

분석 대상은 2m 지면온도(t2m)로, 땅 위 2미터 높이의 기온을 나타내며, 일별 평균값을 사용해 단기 변화와 계절적 흐름 모두를 분석했다. 또한 서울, 워싱턴 D.C., 베이징 세 도시의 데이터를 활용해 다양한 기후 조건에서도 모델이 잘 작동하는지 검증했다.

3.2. Data Processing and Sequence Modeling

PINT 모델의 성능을 검증하기 위해, 기온 데이터를 훈련(2008~2012), 검증(2013~2015), 테스트(2016~2018) 세 구간으로 나눠 사용했다.

모델은 90일간의 과거 기온 데이터를 입력받아, 앞으로 30일간의 기온을 예측한다. 이렇게 구성된 시계열 예측 방식은 단기적인 변화뿐 아니라 계절성 같은 장기 패턴까지 학습할 수 있도록 설계되었다.

4. Result

모델의 예측 성능은 RMSE와 CORR 두 가지 지표로 평가되었다. 각 모델별 하이퍼파라미터(RNN계열, PINN계열)와 선형 회귀 모델의 회귀 계수도 비교표로 제시되었다(논문 Table 2~4 참고).

4.1 RNN-family Models VS Physics-Informed Counterparts

PINT 프레임워크는 기존의 RNN 계열 모델에 물리 법칙(단순 조화 진동자 방정식)을 추가해 해석 가능성과 예측 성능을 높이는 데 목적이 있다. 그 중에서도 Physics-Informed LSTM은 세 도시 모두에서 최고의 성능을 보였다.

4.2 A Best Model vs. Linear Regression (Baseline)

이번에는 선형 회귀와 PI LSTM을 비교했다. 선형 회귀는 조화 진동자 기반의 사인/코사인 함수를 사용해 계절성을 간단하게 표현한다.
학습 데이터만으로 훈련 가능하며, 구조가 단순하다는 점에서 해석력이 뛰어나다. 하지만 성능은 지역에 따라 조금씩 달랐다.

베이징처럼 계절 변화가 강한 데이터에서는, 단순한 모델도 충분히 강력할 수 있음을 보여준다. 하지만 세부적인 단기 패턴 표현력은 LSTM이 우위에 있다.

4.3 General Observations

  • 서울처럼 계절 변동이 뚜렷한 경우, PINN 기반 모델이 주기적 패턴과 장기 트렌드 예측에 탁월한 성능을 보였다.
  • 베이징처럼 계절성이 명확하지만 변화 폭이 크지 않은 경우, 선형 회귀 모델도 충분히 경쟁력을 가졌다.
  • 워싱턴처럼 변동성이 낮고 안정적인 경우, PI LSTM과 선형회귀가 비슷한 성능을 보였지만, LSTM은 물리적 해석 가능성이라는 추가적인 강점이 있다.

5. Conclusion

물리 기반 제약을 신경망 모델에 통합하는 것이 장기 시계열 예측에서 효과적임을 확인했다. PINT는 복잡하고 계절성이 뚜렷한 데이터에서 기존 RNN 계열보다 뛰어난 성능을 보였다.
반면, 패턴이 단순하고 안정적인 데이터에서는 선형 회귀 같은 간단한 모델도 경쟁력을 가졌다. 따라서 데이터의 성격에 따라 적절한 모델을 선택하는 것이 중요하며, 성능뿐만 아니라 해석 가능성과 안정성도 고려해야 한다.

profile
JoJo's Velog
매일 매일 성장하는 AI Engineer 입니다.
다음 포스트

[nature] Avoiding fusion plasma tearing instability with deep reinforcement learning

0개의 댓글