랜덤 시퀀스

랜덤 시퀀스

정의

랜덤 변수 $X \equiv X(e)$ 는 확률 실험의 결과($e$)에 실숫값을 대응시키는 함수로 정의했다. 이산시간(discrete-time) 랜덤 프로세스 또는 랜덤 시퀀스(random sequence)는 확률 실험의 결과에 시간 함수를 대응시키는 함수로 정의된다.

$X_t \equiv X_t(e)$

랜덤백터 시퀀스는 구성 요소가 (스칼라) 랜덤 시퀀스인 벡터다.
$X_t \equiv X_t(e) = [X_{t,1}(e) X_{t,2}(e)...X_{t,n}(e)]^{T}$

여기서 아래 첨자 $t$는 시간스텝(time step)으로서 정수값 (t= ... , -1, 0, 1, 2, ...)을 갖는다.
랜덤 벡터 시퀀스도 특별히 벡터라는 것을 밝혀야 하는 경우를 제외하고는 간략히 랜덤 시퀀스라고 부름.

랜덤 시퀀스는 시간에 따라 변화하는 확률 실험을 모델링하는 데 이용된다. 예를 들어, 주식 가격, 특정 지점에서의 바람의 세기, 강수량, 센서의 노이즈 등이 있다.

랜덤 시퀀스 $X_t(e)$는 시간스텝($t$)과 확률 실험 결과($e$) 등 2개의 변수로 이루어진 함수. 시간 스텝 $t$를 특정 시점 $t=k$로 고정한다면 랜덤 시퀀스는 랜덤벡터(스칼라 랜덤 시퀀스의 경우는 랜덤 변수) $X_k=X_k(e)$가 된다. 확률 실험 결과($e$)를 특정 실험 결과 $e=e_1$로 고정한다면 랜덤 시퀀스는 샘플 함수 $X_t(e_1)=x_{1t}$가 된다. 또 다른 실험 결과 $e=e_2$에서는 랜덤 시퀀스가 또 다른 샘플 함수 $X_t(e_2)=x_{2t}$가 된다. 샘플 함수는 확정적(deterministic) 함수이며 샘플 함수를 총칭해 앙상블(ensemble)이라고 함.

시간이 연속적인 경우는 랜덤 프로세스(random process)라고 한다.
$X_t \equiv X_t(e) = [X_1(t,e) X_2(t,e)...X_n(t,e)]^{T}$
여기서 $t$는 시간 인덱스로서 실숫값을 갖는다.

평균함수와 자기 상관함수

랜덤 시퀀스의 확률밀도함수는 시점마다 달라질 수 있기 때문에 시간의 함수다. 랜덤 시퀀스의 확률밀도함수는 $p_{X_t}(X_t)$로 표시한다. 시간스텝 $t$에서 랜덤 시퀀스의 기댓값 또는 앙상블 평균함수(mean function)는 랜덤벡터의 구성 요소 각각의 기댓값으로 정의한다. 즉,

시간스텝 $t=k$와 $t=l$에서 두 랜덤벡터는 결합 확률밀도함수 $p_{X_t}(X_k, X_l)$를 갖는다. 랜덤 시퀀스의 어느 시점과 다른 시점에서의 자기 상관도를 나타내기 위해 자기 상관함수(auto correlation function) $R_{X_k X_l}$을 아래와 같이 정의한다.

자기 공분산함수(auto-covariance function) $P_{X_k X_l}$은 다음과 같이 정의한다.

랜덤 프로세스의 평균, 공분산함수, 상관함수 등의 정의도 랜덤 시퀀스의 경우와 동일하다.

자기 상관함수와 자기 공분산함수는 동일한 시퀀스 내에서 서로 다른 두 시점에서의 랜덤벡터 사이의 상관도에 대한 정보를 준다. 자기 상관함수의 값이 두 비교 시점의 시간 간격이 커질수록 급격히 작아진다면 두 시점의 랜덤벡터 상관도가 급격히 떨어진다는 의미이고, 반대로 두 비교 시점의 시간 간격이 커도 서서히 감소한다면 두 시점의 랜덤벡터의 상관도가 높다는 뜻이다. 서로 다른 두 시점에서의 랜덤벡터가 비상관 관계에 있다면 이는 한 시점에서의 확률 정보가 다른 시점에서의 확률 정보를 추정하는 데 아무런 도움이 되지 않는다는 것을 의미한다.

화이트 노이즈

모든 시점에서 비상관 관계에 있는, 즉 시간적으로 비상관 관계에 있는 랜덤 시퀀스를 이산시간 화이트 노이즈(white noise, 백색 잡음)라고 한다. 평균이 0이고 공분산이 $S_t$인 이산시간 화이트 노이즈 $W_t$를 다음과 같이 정의한다.

여기서 $S_t$는 확정된 값을 갖는 행렬이고, $\delta_m$은 크로넥커 델타(Kronecker delta) 함수로서 다음과 같이 정의된다.

마르코프 시퀀스

마르코프(Markov) 시퀀스 또는 프로세스는 '현재의 확률 정보가 주어진 조건 하에서 미래와 과거는 무관한(또는 조건부 독립인)' 랜덤 시퀀스(또는 프로세스)를 의미한다. 즉, 특정 시점 $t_1$에서 랜덤 시퀀스(또는 프로세스) $X_{t_1}$의 확률분포가 알려져 있을 때 시점 $t>t_1$에서 $X_t$가 시점 $s<t_1$에서 $X_s$와 독립이라면 랜덤 시퀀스(또는 프로세스) $X_t$를 마르코프 시퀀스(또는 프로세스)라고 정의한다. 마르코프 시퀀스를 확률밀도함수로 표현하면 다음과 같다.

마르코프 프로세스를 확률밀도함수로 표현하면 다음과 같다.

마르코프 시퀀스(또는 프로세스)가 의미하는 바는 과거의 모든 확률 정보는 현재의 확률 정보에 모두 녹아 있다는 것이다. 마르코프 시퀀스(또는 프로세스)는 강화학습뿐만 아니라 추정 이론, 신호처리 등 여러 공학 분야에서 폭넓게 쓰이는 개념이다.

References
[1] 박성수. (2020). 수학으로 풀어보는 강화학습 원리와 알고리즘. 위키북스