Quant GANs: deep generation of financial time series

Wiese, Magnus, et al. "Quant GANs: deep generation of financial time series." Quantitative Finance 20.9 (2020): 1419-1440.

ABSTRACT

1. TCN의 활용을 수학적으로 정의함.

• volatility clustering 과 같은 장기 의존성 포착.

2. generator가 risk neutral distribution으로 mapping함.

• SVNN과 TCN이 GARCH보다 우수함.

3. Lambert W transformation이 fat-tail distribution modeling에 중요한 역할을 함.

• volatility cluster, leverage effects, and serial auto-correlation이 재현됨.

1. INTRODUCTION

• 금융에서는 NN의 도입이 초기상태임.
• 현실적인 자산가격을 시뮬레이션 할 수 있는 GAN 모형을 제시할 필요성 대두.
• quantGAN 모델을 제시하였으며 data-based 접근과 model-driven 접근에 중간에 위치.
• 이후 내용은 ABSTRACT와 동일.

2. GENERATIVE MODELING OF FINANCIAL TIME SERIES

• 금융시계열 생성에는 고려해야할 금융시계열의 특징이 크게 5가지가 있음.
  • Heavy tails: asset return의 분포는 정규분포보다 꼬리 쪽이 두꺼움.
  • Leptokurtosis: asset return의 분포는 정규분포보다 더 뾰족함.
  • Volatility clustering: asset return은 price change에 따라 고변동과 저변동이 묶여서 발생하는 경향이 있음.
  • Leverage effect: asset return의 변동성은 하락할 때 더 크게 나타남.
  • Uncorrelated but not independent: asset return의 평균은 상관관계가 없으나 분산(변동성)은 자기상관이 존재.

3. NEURAL NETWORK TOPOLOGIES

• SVNN(stochastic volatility neural network)의 이해를 돕기 위해 multi-layer perceptron과 TCN을 설명함.

3.1 Multi-layer perceptrons

• 정의 3.1: 활성화 함수는 Lipschitz continuous를 만족하고 monotonic한 함수를 의미한다.
• 정의 3.3: MLP의 각 층의 함수는 선형변환에 비선형함수를 적용한 것을 의미한다.
• 보편근사정리: 다음과 같이 정의된 MLP는 Lipschitz continuous를 만족하고 이는 MLP가 임의의 연속함수를 근사할 수 있음을 보장함.

3.2 Temporal convolutional networks

• stochastic volatility를 모델링하기 위해 TCN을 도입함.
• dilation이 커질수록 더 멀리 있는 과거 시점을 참조함 → 시계열의 long-term dependency 학습 가능.

• TCN이 더 먼 장기의존성을 학습하려면 RFS(=receptive field size)(TCN이 볼수 있는 최대 시계열 길이)가 커지고 계산 비용이 증가함.
  • 네트워크가 깊어질 경우 학습시킬 데이터가 충분한지에 대한 문제가 있으며, TCN으로 더 먼 과거를 보는 것은 future work로 남겨둠.

4. GENERATIVE ADVERSARIAL NETWORKS

• GAN 모형을 TCN과 함께 discrete-time stochastic processes로 확장함.

4.1 Formulation for random variables

• GAN
  

4.2 Formulation for stochastic processes

• stochastic process
  • TCN 기반의 시계열 생성 모델이 하나의 확률과정으로 이해될 수 있음을 설명.
    

5. THE MODEL

• quantGAN을 log-return neural process (log-return NP) 로 지칭.
  • 5.2에선 log-return NP로 부터 생성된 꼬리가 얼마나 무거울 수 있는지
  • 5.3에선 log-return NP 로 어떻게 heavy-tail을 모델링하고 어떤 가정이 있는지
  • 5.4에선 log-return NP로 부터 risk-neutral distribution이 유도될 수 있는지
  • 5.5에선 log-return NP가 기존의 시계열 모델의 확장으로 볼 수 있는지

5.1 Log-return neural processes

• Log-return NP 요약 및 스키마 Description
  

5.2 L_p - space characterization of R_theta

• Theorem 5.4: 신경망의 출력은 입력의 분포와 같은 L_p-space에서 정의 됨.
  • Corollary 5.5: 신경망의 출력이 평균, 분산, 노이즈와 같은 모멘트를 가지고 있음이 보장됨.
    • 그러나 모멘트의 보장은 금융시계열의 두꺼운 꼬리 특성과 반대되는 성질임.
      → 그럼에도 어떻게 모멘트를 보장하면서 두꺼운 꼬리를 생성할지에 대한 얘기를 5.3에서 함.
  • Corollary 5.6: 역전파 기울기도 L_p-space에 속해 안정적인 gradient가 보장됨.
    • 단, 노이즈를 가우시안 분포보다 꼬리가 두꺼운 분포에서 샘플링 하는 경우 성립 안할 수도 있음.

5.3 Generating heavier tails and modeling assumptions

• Theorem 5.4 에서 log-return NP의 모든 모멘트는 존재함이 보장됨.
  • 이 경우 tail fall은 최소 e^{-x^2} 속도로 진행됨.
  • 현실 금융시계열의 경우 tail이 무겁고 모멘트의 유한함이 보장되지 않음.
    • 이와 같은 이유로 Lambert W probability transform을 적용함.
      
• 이 변환의 경우 미분이 보장되어 최적화가 가능함.
• inverse Lambert W transformed spot log-returns R이 log-return NP로 표현 가능하다는 전제조건 필요.
  • 위 전제조건은 두가지 중요한 내용을 암시함.
  • 첫째, log-return NP가 stationary로 가정됨으로 historical log-return process도 stationary가정이 필요함.
  • 둘째, log-return NP는 TCN의 RFS 범위까지의 dynamics를 포착할 수 있어 해당 범위를 벗어나는 수익률은 독립으로 간주.

5.4 Risk-neutral representation of R_theta

• 위험중립리턴을 구하기 위한 보정항을 찾음.
  
  • 위험중립 자산 경로는 관측이 불가능하여 판별자 학습이 불가능함.
  • 옵션 가격을 기준으로 최소자승 보정을 하는 방법이 있고 몬테카를로 시뮬레이션을 수행하여 모델의 옵션 가격 측정 성능을 test해봐야 함.
  • 위 방법은 향후 연구 과제로 남겨둠.

5.5 Constrained log-return neural processes

• innovation term을 가우시안 노이즈로 강제하면 기존 시계열 모델의 확장으로 볼 수 있음.
• BSM 모델에서는 고정된 변동성을 사용하고 quantGAN 모델은 stochastic volatility를 사용하는 것만 다르고 구조가 유사함. → 위와 같은 결론으로 log-return NP가 기존 시계열 모델의 확장임을 주장함.

위 두 식을 아래 식에 대입.

정리하면 다음과 같이 됨.

리턴을 가격 형태로 변형.

BS와 비교하면 고정변동성인지 stochastic 변동성인지만 다른 것을 확인할 수 있음.

6. PREPROCESSING

• 금융시계열을 그대로 전달하기 전에 preprocessing 과정이 필요함.
  

• 롤링 윈도우를 제외한 모든 변환은 가역적으로 생성 후 후처리 될 수 있음.

• Lambert W Transform

  • 꼬리쪽을 더 잘 모델링하기 위한 변환. 변환 방식은 하기와 같음.

    

  • 변환 이후 표준정규분포가 꼬리 쪽을 커버할 수 있게 됨.
    

• window를 나눌경우 log-return에서 bias가 발생하는데 이는 배치를 구성할때 weighted sampling으로 보정 가능함.

7. NUMERICAL RESULTS

• quantGAN으로 S&P500의 log return 시나리오를 생성함.
  • 밴치마크로는 GARCH(1, 1)을 사용함.

7.1 Setting and implementation

• RTX 2070 사용.

7.2 Models

• Pure TCN
  • innovation이 가우시안 노이즈로 강제하지 않음.
• Constrained log-return NP
  • innovation term을 가우시안 노이즈로 강제한 경우.
• GARCH(1, 1) with constant drift
  • 고정 drift term을 쓰고 variance term만 GARCH(1, 1) 사용.

7.3 Evaluating a path simulator: metrics and scores

• Distributional metrics
  • Wasserstein-1 distance
    • real과 fake의 log-return 분포의 거리를 측정.
      
  • DY metric
    • real과 fake의 log 확률밀도의 차이를 측정.
      
• Dependence scores
  • real의 autocorrelation과 fake의 autocorrelation 평균의 차이를 측정.
• Leverage effect score
  • L 값이 크면 수익률이 작을수록 미래의 변동성이 큼을 의미.
  • real의 L과 fake의 L 평균의 차이를 측정.

7.4 Generating the S&P 500 index

• 7.4.1 Pure TCN
  • 대부분의 metric에서 우수한 성능.
• 7.4.2 Constrained SVNN
  • pure TCN 보다 성능에서 부족하지만 5.3 처럼 기존 시계열 모델의 확장으로 볼 수 있어 해석에 용이함.
• 7.4.3 GARCH(1, 1) with constant drift
  • GARCH 모델은 애초에 ACF를 잘 모델링하는 것이 목적이라 밴치마크임에도 좋은 ACF score를 가짐. 그러나 tail risk 모델링과 분포 유사도가 실제와 매우 다름.

8. CONCLUSION AND FUTURE WORK

• 이산시간에서 금융시계열을 생성하는 GAN 모형 제시.
• 사전지식이 동반된 tail index 활용으로 생성된 tail의 더 정확한 모델링과 외삽이 필요.
• 금융시계열 생성만을 평가할 수 있는 metric 개발이 필요.

INSIGHT

• 금융 시계열은 jump term(급격한 변동) 이 자주 발생하는 특성이 있어, 딥러닝 관점에서는 기울기(gradient)가 불연속적으로 튀는 부분이 많은 시계열이다.
• 이러한 구조적 특성 때문에, 딥러닝에서 역전파가 안정적으로 이뤄지기 어렵다. 딥러닝이 기울기 폭주(explosion)나 소실(vanishing) 없이 안정적으로 학습되려면 Lipschitz 연속성(기울기의 상·하한이 엄격히 제한됨)을 만족해야 하지만, 금융 시계열은 애초에 이를 충족하지 않는다.
• 이를 보완하기 위해 Lambert W 변환을 적용하면, jump term을 포함한 극단값(tail)까지 분포를 재조정할 수 있다.
• 결과적으로 Lambert W 변환은 금융 시계열을 Lipschitz 연속성을 만족하도록 변형하면서도 분포의 꼬리(jump term)까지 커버할 수 있게 한다.