Airflow

Airflow 개요

• Python코드로 워크플로우(workflow)를 작성하고, 스케줄링&모니터링 하는 플랫폼
• ETL작업 자동화
• DAG(Directed Acyclic Graph)형태의 워크플로우 작성 가능

Airflow 구조

• Schedular : 모든 DAG와 Task에 대하여 모니터링 및 관리, 실행해야 할 Task 관리

• Web Server : airflow의 웹 UI서버

• DAG : Python으로 작성한 워크플로우, 어떤 순서로 어떤 dependency로 실행할지 등의 정보 보유
  

• Database : Airflow에존재하는 DAG와 Task들의 메타데이터를 저장하는 데이터베이스

• Worker : 실제 Task를 실행하는 주체

Airflow 설치 및 실행

• WSL환경에서 실행(root 경로에서 실행)
• webserver&schedular 실행 후 127.0.0.1 : 8080포트로 사용

airflow 설치

pip install apache-airflow

airflow db 초기화

airflow db init

사용자 세팅

airflow users create --username admin --password admin --firstname Anonymous --lastname Admin --role Admin --email test@test.com

webserver & schedular 백그라운드 실행

airflow webserver & 
airflow scheduler & 

Airflow 가동 홈페이지 구현

Airflow 명령어

• ps -ef | grep airflow : 현재 운영되고 있는 airflow 프로세스 목록 확인
• kill -9 pid : 프로세스 죽이기
• pkill -f airflow : 특정 이름이 들어간 프로세스 한 번에 죽이기
• airflow webserver --port:0000 : 0000번 포트로 바꿔서 webserver 진행