airflow 오퍼레이터

yoon__0_0·2024년 6월 18일
0

이어드림 수업

목록 보기
67/103

base, python, bash 오퍼레이터를 가장 많이 사용하지만, 더 다양한 operator들이 존재함

기본제공 operator 확인하기

1) BaseOperator

  • 오퍼레이터를 직접 개발하고 싶은 경우 이 클래스를 상속하여 개발
  • execute() 함수를 재정의하여 사용함.
  • 다른 오퍼레이터들은 모두 이 클래스를 상속하여 개발되어 있음
  • Airflow 를 잘 쓰기 위해서는 이 오퍼레이터 상속하고 개발하는 것을 잘해야함.

2) BashOperator

  • bash 쉘 스크립트를 실행
  • 가장 많이 사용하는 오퍼레이터

3) BaseBranchOperator

  • 직접 사용할수 없음
  • 이 클래스를 상속하여 choose_branch 함수를 구현해야함
  • 하지만 이 클래스 상속보다는 @task.branch epzhfpdlxj tkdydrnjswkd

4) EmailOperator

  • 이메일 전송 오퍼레이터
  • SMTP 서버 등 사전 셋팅 필요

5) TriggerDagRunOperator

  • DAG간 의존성 생성
  • 다른 DAG을 수행하기 위한 오퍼레이터

6) PythonOperator

  • PythonOperator : 특정 파이썬 함수를 실행시키기 위한 것
  • ShortCircuitOperator : 파이썬 return 값이 False 이면 후행 Task 를 skip 처리하고 dag을 종료시킴

위 설명 기본적 operaotr 뿐만아니라 더 많음

  • AWS, dB 등등 여러가지의 operator 가 존재함.

더 많은 오퍼레이터

profile
신윤재입니다

0개의 댓글