Apache Airflow

진행중인 프로젝트에서 배치성으로 분석해야 하는 데이터들이 생겼다. 주기적으로 데이터를 받아 분석해야 했기에, 해당 작업 내용을 듣자마자 Airflow가 생각이 났다.데이터를 받고해당 데이터를 원하는 형태로 전처리 한 다음해당 데이터를 저장한다새로이 저장한 데이터를 분석

Download Data(API로 호출) -> Process Data(Spark로 처리) -> Store Data(Insert/Update)