시리즈

🪁 Airflow

1.Apache Airflow란?

Airbnb에서 만든 workflow management tool이며, 현재는 아파치 재단에서 관리중인 오픈소스입니다.데이터엔지니어링의 ETL 작업 자동화, DAG(Directed Acyclic Graph) 형태의 워크플로우 작성, 정교한 dependency의 파이프라

2023년 3월 25일

2.[Airflow] Docker-Compose로 Airflow 구성하기

Docker를 사용하여 Airflow를 구성하려면 airflow-webserver, airflow-scheduler, airflow-triggerer, airflow-worker, postgres, redis의 최소 6개의 컨테이너를 직접 설정해주어야 한다.Docker

2023년 3월 30일

3.[Airflow] Web UI 사용하기 및 DAG 등록하기

🎨 Airflow Web UI 사용하기 NHN Cloud 인스턴스에서 airflow를 구성하였다면 NHN Cloud 사이트의 Network - Security Groups 탭에서 사용중인 보안그룹에 Airflow 웹 서버를 띄운 포트를 열어주어야 함 (현재 8080

2023년 3월 30일