Airflow Study6- PythonOperator

박성현·2024년 5월 28일

Airflow

목록 보기
12/28

정의된 파이썬 함수를 실행시키는 Operator : 가장 많이 쓰이는 Operator
PythonOperator, BranchPythonOperator 요 두개가 가장 많이 쓰임

BranchPythonOperator : 선행 Python Operator를 BranchPythonOperator 만들어서 결과에 따라 후행 task를 선택할수 있게 하는 Operator

dags_python_operator.py

python_callable : 어떤 함수를 호출할 것이냐 요게 key

from airflow import DAG
import pendulum
import datetime
from airflow.operators.python import PythonOperator
import random

with DAG(
    dag_id="dags_python_operator",
    schedule="30 6 * * *",
    start_date=pendulum.datetime(2023, 3, 1, tz="Asia/Seoul"),
    catchup=False
) as dag:
    def select_fruit():
        fruit = ['APPLE','BANANA','ORANGE','AVOCADO']
        rand_int = random.randint(0,3)
        print(fruit[rand_int])

    py_t1 = PythonOperator(
        task_id='py_t1',
        python_callable=select_fruit
    )

    py_t1
profile
다소Good한 데이터 엔지니어

0개의 댓글