데이터 엔지니어링
1.[Airflow] Airflow 기초
여러 작업을 정해진 순서와 규칙에 따라 자동으로 실행&관리하기 위한 워크플로우 오케스트레이션 도구임데이터 처리나 시스템 작업을 언제, 어떤 순서로, 실패 시 어떻게 실행할지를 코드로 정의하는 도구작업을 실행하도록 지시하고, 상태를 추적하며, 실패를 관리하는 역할을 함현
2026년 1월 19일
2.[Airflow] Windows에 Airflow 설치
Airflow를 설치해보자
2026년 1월 19일
3.[Airflow] Airflow 기반 초단기예보 수집 파이프라인 구축 기록
기상청 초단기 실황 API(getUltraSrtNcst)를 주기적으로 호출Airflow DAG으로 스케줄링하여 시간 단위 데이터 자동 수집수집 결과를 JSON 파일로 저장
2026년 1월 19일
4.[Airflow] 폐쇄망 Windows 환경에서 Astro CLI로 Airflow + Spark 구축하기
Astro CLI를 활용해 Airflow와 Spark 연동 환경을 구축하면서 트러블슈팅 한 과정을 정리
2026년 1월 20일