Forecasting :Principles and Practice를 바탕으로 정리한 문서입니다.

Forecasting: Principles and Practice , Rob J Hyndman and George Athanasopoulos

Table of Content

1. Stationary and Non-Stationary
2. Autoregressive(AR) Model
3. Moving Average(MA) Model
4. Autoregressive and Moving Average Model(ARMA)
5. Autoregressive Integrated Moving Average Model(ARIMA)
6. ACF(Autocorrelated Function) and PACF(Partially ACF)

1. Stationary and Non-Stationary

(1) Stationary Process(정상성) : 시간과 관계없이 평균과 분산이 일정한 시계열 데이터

(2) Non-Stationary Process(비정상성) : 시간에 관계없이 평균과 분산이 일정하지 않은 시계열 데이터

정상성과 비정상성을 비교할 수 있는 방법
X축을 Lag(현재 데이터와의 시점 차이)로 설정하고, Y축을 ACF(Autocorrelation Function)으로 시각화하였을 때 주기적으로 나타나는 패턴이 없으면 Stationary Process로 볼 수 있습니다.

Autocorrelation이란?
Correlation은 일반적으로 두 변수 사이의 관계를 -1~1의 값으로 표현하는 척도입니다. -1에 가까울 수록 음의 상관관계가, +1에 가까울수록 양의 상관관계가 존재한다고 볼 수 있습니다. Autocorrelation이란 Correlation에 Auto 개념이 추가된 것으로 시계열적인 관점으로 보았을 때 Time shifted된 자기 자신과의 상관 관계를 의미합니다.

2. Autoregressive(AR) Models

자기자신을 종속변수(Dependent Variable) $y_t$로 하고, 이전 시점의 시계열(Lagged Data)인 $[y_{t-1},y_{t-2},...,y_{t-p}]$를 독립변수(Independent Variable)로 갖는 모델을 의미합니다. 즉 간단히 이야기하면 AR Model은 변수의 과거 값들의 선형 조합을 이용하여 현재 시점의 값을 예측하는 모델을 의미합니다.

차수 $p$의 자기회귀모델은 다음과 같이 표현할 수 있습니다.

$y_t = c + \Phi_{1} y_{t-1} + \Phi_{2} y_{t-2} + ... + \Phi_{p} y_{t-p} + \epsilon_{t}$

위의 식에서 $\epsilon_{t}$는 White Noise 입니다.
식을 풀어보자면 현재 시점의 값 $y_t$를 예측함에 있어서 이전 시점의 Lagged된 Data에 매개변수 $\Phi$가 곱해진 값과 White Noise 값이 더해진 형태의 다중 회귀 모델이라고 볼 수 있습니다. 이처럼 차수 $p$를 가지는 자기회귀 모델을 AR(p) Model이라고 부릅니다.

3. Moving Average(MA) Models

자기자신을 종속변수(Dependent Variable) $y_t$로 하고, 해당 시점과 그 과거의 White Noise Distribution Error들인 $[\epsilon_{t-1},\epsilon_{t-2},...,\epsilon_{t-p}]$를 독립변수(Independent Variable)로 갖는 모델을 의미합니다. 회귀에서 목표 예상 변수의 과거 값을 이용하는 대신에 이동 평균 모델은 회귀처럼 보이는 모델에서 과거 예측 오차(Forecast Error)을 사용합니다.

차수 $q$의 이동평균모델은 다음과 같이 표현할 수 있습니다.

$y_t = c + \epsilon_{t} + \theta_{1} \epsilon_{t-1} + \theta_{2} \epsilon_{t-2} + ... + \theta_{q} \epsilon_{t-q}$

여기서 $\epsilon_{t}$는 White Noise 입니다. 식을 풀어보자면 $y_t$의 각 값을 과거 몇개의 예측 오차의 가중 이동 평균으로 생각할 수 있다고 해석할 수 있습니다. 이처럼 $q$ 차 이동 평균 모델을 MA(q) Model이라고 부릅니다.

4. Autoregressive and Moving Average (ARMA)

자기자신을 종속변수(Dependent Variable) $y_t$로 하고, 이전 시점의 시계열 데이터(Lagged Data)인 $[y_{t-1}, y_{t-2}, ..., y_{t-p}]$와 White Noise $[\epsilon_{t-1},\epsilon_{t-2},...,\epsilon_{t-p}]$를 독립변수(Independent Variable)로 갖는 모델을 의미합니다.

p와 q 차원을 가지는 ARMA Model의 수식은 다음과 같습니다.

$y_t = \theta_{0} + \theta_{1} y_{t-1} + \theta_{2} y_{t-2} + ... + \theta_{p} y_{t-p} + \epsilon_{t} + \theta_{1} \epsilon_{t-1} + \theta_{2} \epsilon_{t-2} +...+ \theta_{q} \epsilon_{t-q}$

5. Autoregressive Integrated Moving Average (ARIMA)

기존 AR, MA, ARMA 모델의 경우 데이터가 정상 (Stationary)이어야 함으로 비정상 (Nonstationary)인 경우는 차분 (differencing)을 통해 데이터를 정상으로 변형해주어야 합니다. ARIMA는 ARMA 모형에 차분을 d회 수행해준 모델입니다.

데이터를 정상으로 바꾸는 방법은 무엇일까? - 차분(Differencing)
차분이란, 현 시점 데이터에서 d시점 이전 데이터를 뺀 것을 의미합니다. 정상성을 나타내지 않는 시계열을 정상성을 나타내도록 만드는 한 가지 방법으로 연이은 관측값의 차이를 계산하여 데이터가 정상성을 나타내도록 변화시킵니다.

위 그림은 차분이 어떻게 일어나는지 나타낸 그림입니다. 시차 1에서 차분을 구하는 경우 "1차 차분(first difference)" 이라고 부르며, 시차 2에서 차분을 구하는 경우 "2차 차분(second difference)" 라고 부릅니다. 1차 차분을 진행했음에도 정상성을 나타내지 않는 경우 2차 차분을 진행하게 되지만 2차 차분의 의미상 원본 데이터의 "변화에서 나타나는 변화"를 모델링하게 되는 셈이어서 실제 상황에서는 2차 차분 이상으로 구해야하는 경우는 거의 일어나지 않습니다.

위의 그림은 로그 변환, 1차 차분, 2차 차분 수행 결과를 시각화한 결과입니다. 일반적으로 시계열 곡선이 특정한 트렌드를 가지고 있다면 1차 차분을, 시간에 따라 변화하는 트렌드가 있다면 2차 차분을 수행합니다.

ARIMA는 Autoregressive Integrated Moving Average의 약자로 이동 평균을 누적한 자기 회귀 즉 자기 회귀와 이동 평균 모델을 결합한 모델입니다. 수식은 아래와 같이 나타낼 수 있습니다.

$y_t' = c+ \Phi_{1} y_{t-1}' + \Phi_{2} y_{t-2}' + ... + \Phi_{p} y_{t-p}' + \theta_{1} \epsilon_{t-1} + \theta_{2} \epsilon_{t-2} +...+ \theta_{q} \epsilon_{t-q} + \epsilon_t$

위의 식에서 $y_t'$는 차분을 구한 시계열이며, 우변의 예측 변수에는 $y_t$의 시차 값과 시차 오차(lagged error)를 둘 다 포함합니다. 위와 같은 모델을 ARIMA(p,d,q) 모델이라고 부르며 각 변수 $p,d,q$는 다음과 같은 의미를 가집니다.

• $p$ = 자기 회귀 부분의 차수
• $d$ = 1차 차분이 포함된 정도
• $q$ = 이동 평균 부분의 차수

자기 회귀(AR)과 이동 평균 모델(MA)에 사용되는 것과 같은 정상성과 가역성 조건은 ARIMA 모델에도 적용됩니다. 지금까지 다룬 모델을 ARIMA 모델로 표현하는 것도 가능합니다.

• White Noise : ARIMA(0,0,0)
• 확률 보행 : 상수가 없는 ARIMA(0,1,0)
• 표류를 포함하는 확률보행 : 상수가 있는 ARIMA(0,1,0)
• AR : ARIMA(p,0,0)
• MA : ARIMA(0,0,q)

6. ACF and PACF

ACF(AutoCorrelation Function)?

ACF(AutoCorrelation Function, 자기상관함수) 는 k시간 단위로 구분된 시계열의 관측치 간 상관계수 함수를 의미하며, k가 커질수록 ACF는 0에 가까워집니다. 상관값이 두 변수 사이의 선형 관계의 크기를 측정하는 것처럼, 자기상관(Autocorrelation)은 시계열의 사차값(lagged values) 사이의 선형 관계를 측정합니다.

시차 그래프에서 각 패널과 관련된 몇가지 자기상관 계수가 있습니다. $r_1$은 $y_t$와 $y_{t-1}$ 사이의 관계를 측정하고, $r_2$는 $y_t$와 $y_{t-2}$ 사이의 관계를 측정하는 식입니다.

$r_k$ 값은 다음과 같이 쓸 수 있습니다.
$r_{k} = \frac{\sum\limits_{t=k+1}^T (y_{t}-\bar{y})(y_{t-k}-\bar{y})} {\sum\limits_{t=1}^T (y_{t}-\bar{y})^2},$
위의 식에서 T는 시계열의 길이입니다.

PACF(Partial ACF)?

부분 상관(Partial Correlation) 이란 두 확률변수 X와 Y에 의해 다른 모든 변수들에 나타난 상관 관계를 설명하고 난 이후에도 여전히 남아있는 상관 관계라고 정의할 수 있습니다.

따라서 부분자기상관함수(PACF) 는 자기 상관 함수와 마찬가지로 시계열 관측치 간 상관 관계 함수이고, 시차 k에서의 k 단계만큼 떨어져 있는 모든 데이터 점들 간의 순수한 상관 관계를 의미합니다.

쉽게 말해, $y_t$와 $y_{t-k}$의 PACF는 $y_t$와 $y_{t-k}$의 순수한 상관관계로서 두 시점 사이에 포함된 모든 $y_{t-1}, y_{t-2},...,y_{t-k+1}$의 영향력은 제거됨을 의미합니다. $y_{t}$와 $y_{t-k}$ 사이의 편자기상관을 구하는 식은 아래와 같습니다.

$PACF(k) = Corr(e_{t}, e_{t-k})$

ACF와 PACF를 어떻게 사용하는가?

보통은 단순하게 시간 그래프(Time Plot)만 보고 나서 어떤 p와 q 값이 데이터에 맞는지 이야기할 수 없습니다. 하지만 ARIMA 모델에서 적절한 p와 q 값을 결정하기 위해 때때로 ACF 그래프와 PACF 그래프를 이용하면 가능합니다.

서로 다른 k 값에 대해, $y_t$와 $y_{t-k}$의 관계를 측정하는 ACF 그래프를 다시 떠올려 봅시다. $y_{t}$와 $y_{t-1}$이 상관 관계가 있다면 $y_{t-1}$와 $y_{t-2}$에도 상관관계가 있어야 합니다. 하지만 $y_{t}$와 $y_{t-2}$는 $y_{t}$를 예측하는데 사용될 수도 있을 $y_{t-2}$에 담긴 어떤 새로운 정보 때문이 아니라 단순히 두 값 모두 $y_{t-1}$과 관련이 있기 때문에 상관관계를 가질 수도 있습니다.

위와 같은 문제를 극복하기 위해 PACF 그래프를 사용할 수 있습니다. 이 값은 시차 $1, 2, 3, ..., k-1$의 효과를 제거한 후의 $y_{t}$와 $y_{t-k}$ 사이의 관계를 측정합니다. 그래서 첫 번째 부분 자기상관은 제거할 부분이 없어서 첫번째 자기 상관과 같은 값을 가지며, 각 부분자기상관은 자기 회귀 모델의 마지막 계수처럼 측정할 수 있습니다.

ACF와 PACF의 모양을 통해 ARIMA 모델의 매개 변수인 p와 q를 결정하는 방법은 아래와 같습니다.

.
.
.
감사합니다!