🌌 Airflow

ETL 이란?

선제 조건Python, docker, docker compose \- Python 1) 최선버전 다운로드 2) 로컬 설치 3) 확인AirFlow 설치

airflow를 이용하여 DAG를 정기적으로 구동시키려면다음을 주의해야한다.start_dateDAG 구동의 기준점이 될 시간schedule_interval어느 주기로 실행할지많이들 헷갈리는 개념이 start_date이다.start_date를 직역해서 받아들이면우리가 생

앞선 7장에서 배웠듯이 Airflow는 여러 유형의 시스템들 간의 적업을 조율할 때 쉽게 확장할 수 있습니다.만일 Airflow가 지원하지 않는 시스템에서 태스크를 실행해야할 경우 혹은 단순 반복적인 코드여서 여러 DAG에서 재사용하기 힘들 수 있습니다.이럴경우 어떻게

이번장에서는 Airflow를 효과적으로 사용하는 방법을 사례를 통해 알아보자.DAG를 구성하는 태스크는 시간이 지남에 따라 점점 복잡해질 수 있습니다.최초 작성 이후 많은 수정을 거치며 기능이 추가될수록 지나치게 복잡해지거나 가독성이 떨어질 수 있습니다. 👉 개발자들