선형 확률 차분방정식

선형 확률 차분방정식

정의 및 유도

다음 식으로 표현되는 랜덤벡터의 시간 전파식(propagation)을 선형 확률 차분방정식(linear stochastic difference equation)이라고 한다.

여기서 $X_t \in R^n$은 랜덤벡터, $W_t \in R^n$는 이산시간 프로세스 노이즈라고 한다. $F_t,G_t$는 각각 시스템 행렬과 노이즈 게인 행렬이라고 하는데, 모두 확정된 값(deterministic value)을 갖는다. 랜덤벡터의 초깃값 $X_0$의 평균과 공분산은 다음과 같이 주어진다고 가정한다.

프로세스 노이즈 $W_t$는 평균이 0이고 공분산이 $Q_t$인 화이트 노이즈라고 가정한다.

그러면 랜덤벡터 $X_t$의 평균은 다음과 같이 전파된다.

여기서 $E[X_0]=\bar{X_0}$ 로 주어졌으므로 랜덤벡터의 평균 전파식은 확정적인 식임을 알 수 있다. 즉, 초기값의 평균이 그대로 전파된다.
이번에는 랜덤벡터의 공분산 전파식을 구해보자.

💡 행렬의 곱의 전치행렬은 순서를 뒤집은 전치행렬의 곱이다.

랜덤벡터의 공분산 전파식은

위 식의 기댓값이 공분산이므로,

이 된다. 랜덤벡터의 초깃값과 프로세스 노이즈가 비상관 관계에 있으면, $E[(X_0-\bar{X_0})W_t^T]=0$이면 $M_t=E[(X_t-E[X_t])W_t^T]=0$이므로 공분산 전파식은 다음과 같이 간단하게 정리된다.

공분산 전파식은 모두 확정된 값($F_t$~시스템 행렬, $G_t$~노이즈게인 행렬, $Q_t$~화이트 노이즈의 공분산)을 갖는 행렬의 함수로 되어있기 때문에 확정적인 식이다.

🛠 활용 - 랜덤워크

✍ 선형 확률 차분방정식은 외란 및 모델 오차가 있는 시스템의 수학적 동역학 모델을 만드는 데 이용된다. 또한 다양한 랜덤 시퀀스를 생성하는 데도 이용된다. 예를 들면, 랜덤워크(random walk)는 다음 식으로 모델링할 수 있다.

그러면 평균 전파식은 $E[X_{t+1}]=E[X_t+W_t]=E[X_t]=0$이 되고 공분산은 $P_{t+1}=P_t+q$이므로 $P_t=qt$가 되어 분산은 시간이 지남에 따라 비례적으로 커짐을 알 수 있다.

References
[1] 박성수. (2020). 수학으로 풀어보는 강화학습 원리와 알고리즘. 위키북스