airflow 터미널에서 설치 및 실행시켜보기
구글 bigquery airflow 정복하기
etl pipeline을 구글 클라우드 환경에서 구축하기 위해 준비해야할 것들 google colud cli 환경 airflow google cloud 계정 전체적인 아키텍쳐 화살표 방향은 신경쓰지 말아주세요! 왼쪽에서 오른쪽으로 흐름만 보면 됩니당! 1. 데이터
astronomer을 통해 AIRFLOW 쉽게 관리하기
당신이 에어플로우를 써야하는 이유
airflow의 아키텍쳐
DAG에 대한 전반적인 설명 기술
airflow dag 구성해보기
airflow exectuion date 및 catchup backfilling에 대해 정리
sequential executor, local executor 에 대한 리뷰
celery executor 에 대한 리뷰
에어플로우 parallelism, concurrency 등에 대한 리뷰
task group을 활용한 airflow dag 추상화
Xcom을 활용한 task들간 소통하기
branch operator를 활용해보기
GCP를 이용해 가상 머신 먼저 생성 및 airflow 환경 세팅 방법 정리
airflow에서 각종 provider 설치하기
본격적인 DAG 만들기 및 Extract data process 구축하기
빅쿼리에 데이터 웨어하우스 및 데이터 마트 구축해보기!!!
프로젝트 자동화 실패 경험 리뷰...