Airflow

Airflow에 대한 개념

Airflow 아키텍쳐와 동작 스케줄

이제 로컬에 Airflow를 설치해보자!venv(Virtual Environment)는 일종의 샌드박스이다.venv 안에서 설치한 파이썬 패키지는 외부에 영향을 받거나 미치지 않고,venv를 activate 해야만 설치했던 패키지에 접근 할 수 있다.airflow를 설

이번 시간에는 직접 DAG를 작성하며, 배울 점들을 배워보자! DAG 구성 만들어볼 DAG는 아래 5가지 Task와 모두 다른 Operator로 구성할 예정이다. SQLite Table을 생성 : SQliteOperator API가 Available한 상태인지 확인 :

지난 시간에는 다양한 Operator를 이용하여 DAG를 직접 만들어보았다. 그러나, 마지막 부분에 설명을 정확히 하지 않고 넘어간 부분이, 바로 Task들의 의존성(디펜던시) 표시 방법이다. 앞서 만들어보았던 DAG는 복잡한 디펜던시를 가지고 있지 않았기 때문에,