File Sensor는 60초마다 파일이 있는지 없는지 확인합니다.
Operator를 작성하면, 항상 Documentation을 확인합니다.
Connection을 추가합니다.
이 파일이 있는지 없는지 확인하기 위함입니다.
from airflow.sensors.filesystem import FileSensor
is_forex_currencies_file_available = FileSensor(
task_id="is_forex_currencies_file_available",
fs_conn_id="forex_path",
filepath="forex_currencies.csv",
poke_interval=5,
timeout=20,
)
docker exec -it 2eaacfab029a /bin/bash
airflow tasks test forex_data_pipeline is_forex_currencies_file_available 2021-01-01