
출처) https://wikidocs.net/185335
Nexon Open API의 랭킹데이터로 부터 만들 수 있는 데이터 모델과 패치에 따른 변화양상을 한번 확인해 보고 싶었다.
ETL 과정을 AIRFLOW를 이용하여 구축해보고 DAG를 개발해볼 예정이다.
데이터 처리에는 pyspark, 데이터 저장과 시각화는 elastic search와 kibana를 사용할 예정이다.
추후에 다른 서비스를 염두해두어 MySQL에도 데이터를 저장해볼 계획이다.