시리즈

Apache Airflow

1.Apache Airflow 왜 필요한가?

현재 사내에서는 IBM Datastage

2023년 1월 26일

2.Airflow 환경구축 (for window)

Airflow 환경구축 for window

2023년 1월 27일

3.airflow code editor install 방법

1\. airflow-code-editor 설치pip install airflow-code-editorairflow webserver , scheduler 재실행 process 남아있으면 직접제거 server 재실행 이후 Admin -> DAGS Code Editi

2025년 2월 27일

4.Airflow test dag 작성하기

역시 시작은 Hello World지 1분 간격으로 dags가 실행되도록 설정 Logs 출력 확인

2025년 2월 27일

5.Airflow BigQuery 환경 구축

GCP 계정만들고 API 사용을 위한 key발금

2025년 2월 27일

6.Airflow github 연동

DAG 개발과 버전관리를 위한 repository 생성

2025년 3월 11일

7.Airflow - BashOperator

용어정리operator : 특정 기능들의 모음 클래스 (설계도)task : Dag에서 실행가능한 오브젝트 \- task들은 방향성을 가지고 비순환 참조 BashOperator : 쉘 명령어 실행 가능한 operator 이외에 다양한 operator 존재

2025년 3월 13일

8.Airflow Cron Schedule

TASK 실행주기를 설정하는 방법 (5단계로 구성됨 )\> {분} {시} {일} {월} {요일}

2025년 3월 17일

9.Airflow Task 여러개 사용하기

Task 예시

2025년 3월 17일

10.Airflow PythonOperator

airflow에서 bashoperator와 함께 자주 쓰이는 오퍼레이터airflow.operators.python python operator document자주 쓰이는 건 이렇게 두개가 있다. PythonOperator : 파이썬 함수 실행을 위한 오퍼레이터 Pyth

2025년 3월 28일

11.Airflow - BigQueryHook

사전에 connection을 맺어놓은 상태에서 BigQueryOperator를 dag 작성 Airflow DAG 정의├── BigQuery 쿼리 정의├── 쿼리 실행 함수 정의 (PythonOperator에서 실행)└── DAG 설정 + Task 등록

2025년 4월 11일

12.Airflow - GCP&AWS 간 연동

사전에 등록해둔 두개의 cloud 계정의 Connections 정보를 등록해두었다.<유의사항 >IAM 자격증명 내 bucket에 접근 권한 확인 필요.

2025년 4월 15일

13.Airflow 분기처리(branch)

DAG 실행 중 특정 조건에 따라 다음에 실행할 태스크를 동적으로 선택할 때 사용(분기)

2025년 8월 27일

14.Airflow metaDB 살펴보기

Airflow 자체가 "워크플로우 실행 스케줄러"라서, 어떤 DAG이 언제 실행됐는지, 태스크 상태는 무엇인지 등을 기록하고 조회할 필요가 있다.이 모든 정보를 저장하는 DB가 Metadata Database입니다.PostgreSQLMySQL/MariaDB일반적으로 P

2025년 9월 18일