Airflow 시작하기

Airflow란?

• Airbnb에서 개발한 데이터파이프라인 오픈소스 워크플로우 관리 툴
• python으로 개발됐고 python으로 파이프라인 관리 가능
• 스케쥴링, 배치 데이터 처리 등 다양한 작업을 자동화 하는데 사용
• DAG (Directed Acyclic Graph)를 사용해 워크플로우를 작성하여 정교하고 복잡한 종속관계 표현 가능
• 다양한 플러그인 지원하여 범용적으로 쓸 수 있음

Airflow 설치

• https://airflow.apache.org/docs/apache-airflow/stable/start/local.html

Install with pip

export AIRFLOW_HOME=~/airflow  # 홈디텍토리 설정
AIRFLOW_VERSTION=2.2.3  # airflow 버전 설정
# python 버전 설정
PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"

# constraint file 지정
CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"

# pip install
pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

Airflow 실행

airflow webserver
airflow scheduler

background로 실행하는 것이 편하긴 하다

nohup airflow webserver &
nohup airflow scheduler &