Apache Airflow 배우기

Airflow는 워크플로우를 만들고 관리하기 위한 목적의 파이썬 기반 오픈소스 플랫폼

Airflow 설치 및 둘러보기

Bash Operator는 쉘 스크립트 명령을 수행하는 Operator

PythonOperator는 파이썬 함수를 실행하는 Operator

Jinja 템플릿은 파이썬 기반 웹 프레임워크 Flask, Django에서 주로 사용하며, HTML 템플릿을 만들고 화면에 보여질 때 값을 렌더링해서 출력

XCom은 Cross Communication이란 의미로, Airflow DAG 내 Task 간 데이터 공유를 위해 사용되는 기술

Branching은 특정 Task의 결과에 따라 하위 Task를 선별해서 수행시키고 싶을 때 사용하는 개념

EmailOperator는 이메일을 전송해주는 Operator

TriggerDagRunOperator는 다른 DAG을 실행시키는 Operator

HttpOperator는 HTTP 요청을 하고 응답 결과를 반환받는 Operator

BaseOperator 클래스를 상속받아 Operator를 직접 생성

Hook은 Airflow에서 외부 솔루션의 기능을 사용할 수 있도록 미리 구현된 메서드를 가진 클래스

BaseHook 클래스를 상속받아 직접 만든 Hook을 사용 가능