
여러 작업을 정해진 순서와 규칙에 따라 자동으로 실행&관리하기 위한 워크플로우 오케스트레이션 도구임데이터 처리나 시스템 작업을 언제, 어떤 순서로, 실패 시 어떻게 실행할지를 코드로 정의하는 도구작업을 실행하도록 지시하고, 상태를 추적하며, 실패를 관리하는 역할을 함현
Airflow를 설치해보자

기상청 초단기 실황 API(getUltraSrtNcst)를 주기적으로 호출Airflow DAG으로 스케줄링하여 시간 단위 데이터 자동 수집수집 결과를 JSON 파일로 저장
Astro CLI를 활용해 Airflow와 Spark 연동 환경을 구축하면서 트러블슈팅 한 과정을 정리