Markov Chain

Seohyeon Park·2025년 4월 6일

Def.

마르코프 체인(Markov Chain)이란 마르코프의 성질을 가지는 이산 시간의 확률 과정을 뜻한다. 쉽게 말하면, 현재 상태가 미래 상태에만 영향을 미치고 과거 상태에는 무관한 이산 확률 과정을 말한다.

S=\{s_1,s_2,s_3,\dots,s_n\}

P=\left[ \begin{matrix} P_{11}&P_{12}&\dots&P_{1n}\\ P_{21}&P_{22}&\dots&P_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ P_{n1}&P_{n2}&\dots&P_{nn}\\ \end{matrix} \right]

이를 수학적으로 정의하면, 상태 $S$ 집합과 전이 확률 행렬 $P$ 로 이루어져 있으며 각 행렬 요소 $P_{ij}$ 는 상태 $i$ 에서 $j$ 로 전이할 확률을 의미한다. 여기서 전이 확률은 $0\leq P_{ij} \leq 1$ 이며, 모든 행의 합은 1이다.

마르코프 성질(Markov Property)은 마르코프 체인의 핵심 개념으로, 현재 상태가 미래 상태에 영향을 미치지만 과거 상태는 영향을 미치지 않는다는 특성이다.

P(s_{t+1}|s_t)=P(s_{t+1}|\{s_1,s_2,\dots,s_{t-1}\})

예를들어, 날씨가 “맑음(Sunny)”, “흐림(Cloudy)”, “비(Rainy)” 3가지 상태를 가질 수 있다고 했을 때, 각 상태에서 다른 상태로 전이할 확률을 전이 확률 행렬 $P$ 가 다음과 같다고 가정하자.

P=\left[ \begin{matrix} 0.8&0.15&0.05\\ 0.2&0.6&0.2\\ 0.25&0.25&0.5\\ \end{matrix} \right]

그렇다면 현재 상태가 “맑음” 이라면, 다음 날이 “흐림”일 확률은 0.15이고, 다른 과거 날씨는 영향을 미치지 않는다는 것이다.

카페에서 한줄 한줄