[Airflow] Airflow란?

Airflow 사용 예만약 독자가 매일 밤 12시에 트리거시켜야 하는 데이터 파이프라인을 가지고 있다고 가정해보자.파이프라인을 간략하게 나타내면 아래의 Task 와 비슷하게 구성이 되어있을 것이다.1\. Downloading Data2\. Processing Data3

2022년 7월 4일
·
0개의 댓글
·

[Airflow] Airflow vs NIFI

Apache NIFI 장점live batch streamingguaranteed delivery \- flow file 기반으로 누락없는 전송을 보장함데이터 버퍼링 \- 백 프레셔 관리 가능 Apache NIFI 우려사항실제 데이터가 커짐에 따라 GUI 및 트랙킹

2022년 6월 30일
·
0개의 댓글
·

[Airflow] Apache 에어플로우 (Airflow) 시작하기

Apache Airflow 란 무엇일까요 ?airflow 란 AirBnB 에서 만든 workflow management tool 입니다.workflow 는 일련의 작업의 흐름이라고 말할 수 있습니다.예를 들어서 ETL 같은 경우는 데이터를 Extractaction ->

2022년 6월 29일
·
0개의 댓글
·

[Airflow] 에어플로우 시작하기 : 개념 및 설치

Airflow는 복잡한 워크플로우를 프로그래밍 방식으로 작성해서, 스케줄링하고 모니터링할 수 있는 플랫폼이다.데이터 파이프라인을 이루고 있는 ETL 스크립트들을 스케줄링할 때 crontab, cloudwatch 등을 사용하는 곳이 많다. 그러나 스크립트들이 많아지고 서

2022년 6월 27일
·
0개의 댓글
·