Apache Airflow 기반의 데이터 파이프라인

안녕하세요 !오늘은 DAG에서 나오는 개념인 태스크와 오퍼레이터의 차이점에 대해서 포스팅을 해보도록 하겠습니다.DAG는 Directed Acyclic Graph이며 대규모의 작업을 개별 태스크로 분할하여 그래프로 나타낸 것 입니다.대규모의 작업을 개별 태스크로 분할하여

안녕하세요 !오늘은 Airflow에 대해 알아보며 구성요소와 특징 등을 소개하고 언제 Airflow를 사용하면 좋은지, 어떨 때는 적합하지 않은지에 대해서 알아보도록 하겠습니다.Airflow는 Data Orchestrator으로 파이프라인이나 워크플로 태스크를 정의할

안녕하세요 !오늘은 데이터 파이프라인에 대해서 소개해보려고 합니다.먼저 데이터 파이프라인은 원하는 결과를 얻기 위해 실행되는 여러 태스크나 동작으로 구성된 것을 말합니다.예를 들어, 날씨를 알려주는 대시보드를 구축한다고 하면 아래와 같은 태스크를 가질 수 있습니다.날씨

안녕하세요 !오늘은 Airflow에서 Task 사이의 의존성에 대해서 포스팅을 하려고 합니다.Airflow에서 Task 사이의 의존성은 바로 Task 간 순서라고 할 수 있습니다. 간단한 예시를 들어보자면 우리가 먹는 식사를 아침밥, 점심밥, 저녁밥이라고 할 때 아래와

안녕하세요 !오늘은 Airflow의 Trigger Rule이 무엇인지에 대한 포스팅을 하려고 합니다.Trigger Rule 즉, 트리거 규칙은 Airflow가 Task의 실행 여부를 결정하기 위한 필수적인 조건을 말합니다.태스크 간 의존성이 있을 경우 업스트림과 다운스