The Forex Data Pipeline(File sensor)

우상욱·2024년 3월 10일
0

Airflow

목록 보기
8/22

File Sensor는 60초마다 파일이 있는지 없는지 확인합니다.
Operator를 작성하면, 항상 Documentation을 확인합니다.

Airflow File Sensor

Connection을 추가합니다.

이 파일이 있는지 없는지 확인하기 위함입니다.

File Sensor


  1. 코드 작성
from airflow.sensors.filesystem import FileSensor

is_forex_currencies_file_available = FileSensor(
        task_id="is_forex_currencies_file_available",
        fs_conn_id="forex_path",
        filepath="forex_currencies.csv",
        poke_interval=5,
        timeout=20,
    )
  1. 에어플로우 컨테이너 접근
docker exec -it 2eaacfab029a /bin/bash
  1. task 테스트
airflow tasks test forex_data_pipeline is_forex_currencies_file_available 2021-01-01

profile
데이터엔지니어

0개의 댓글