# airflow

[airflow] DAG scheduling 및 debuging!!
airflow exectuion date 및 catchup backfilling에 대해 정리

Airflow
AirBnB에서 만든 workflow management toolPython 코드로 워크플로우(workflow)를 작성하고, 스케쥴링, 모니터링 할 수 있는 플랫폼일련의 작업 흐름Not ETL → workflow 및 파이프라인을 관리하는 툴관리란?workflow 작성

Apache Airflow
Airflow는 Airbnb에서 회사의 워크플로를 관리하기 위해 만들었습니다. 처음부터 프로젝트를 오픈소스로 만들었고, 지금은 아파치 소프트웨어 파운데이션의 최상위 프로젝트가 되었습니다. Airflow는 DAG(방향성 비순환 그래프)를 이용하여 워크플로를 관리합니다.
[Airflow] 설정, 예제
해당 페이지에서는 Airflow를 통한 데이터를 조회하고 삽입하는 부분에 대해서 서술한다.Jupyter Notebook을 통해 선행으로 예제가 작성되었으며 이로인한 task는하나로만 정의하고자 한다. task를 분할하지 않는 이유는, airflow에서 DataFrame
[Python] Airflow DB 연동 및 예제
해당 페이지에서는 이미 설치되어있는 airflow(SQLite)를 PostgreSQL을 이용한연결로 변경하고자 함이다.EMR의 설치로 인하여 HUE전용 MySQL이 설치가 되어 있어서 해당 부분에 연동을 하려고 하였는데, EMR을 최신버전으로 설치했음에도 불구하고 버전

[ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까?
회사에서 현재 기획 단계에 있는 새로운 시스템을 위해 ETL을 설계 & 구현해야 할 일이 생겼다. 수집된 raw data 가 서비스에 사용되기까지 많은 가공 단계를 거쳐야 할 것으로 예상되는데... 이 정도로 복잡한 데이터 파이프라인 구축은 경험해본 적이 없어서 고민

[AirFlow] AirFlow 용어 정리
AirFlow 기본 동작 순서 AiFlow는 일련의 작업 흐름을 DAG(Directed Acyclic Graph)로 관리 metadata databasedag 정보, 실행이력, 스케줄링 이력, 유저 정보 등 실행하는 workflow에 필요한 메타데이터를 저장한다.web