Custom dataset for stock pytorch

문제점

• When feeding data to pytorch model
• df 에 시간 및 종목으로 data존재
• train, test split 방법
  • 기존 train_test_split 으로 나누기 불가능
• imbalance data :
  1. sampling sampler /
  2. weight에 적용

Custom Dataset

1. input_width (관찰기간 ex. 120일 짜리) 부족시 제외하기
2. shuffle 은 어떻게
3. train test split 은 어떻게
   문제점 - shuffle 을 그냥하면 안된다...
   • 방법1: df_raw 를 나눈다 | 앞 시간텀 으로 학습한 내용으로, 뒷시간 텀 끼리만, 확인
   • 방법2: index 를 random하게 선택한다.
     class 를 inherit 해서
     • training_index
     • validation_index 나눠서

Imbalance Data

1. imbalanced sampler / WeightedRandomSampler
   • new blog
2. loss with weight

Ref

• tensorflow timeseries 예제

  • https://www.tensorflow.org/tutorials/structured_data/time_series
  • 
  • 

• sampler 방법

  • https://discuss.pytorch.org/t/some-problems-with-weightedrandomsampler/23242/20