Airflow Study0 - DAG , 디렉토리 설정

워크플로우 = DAG
오퍼레이터 = 클래스 ( 설계도 )
TASK = 인스턴스 ( 객체화 )

DAG 안에 여러개의 오퍼레이터가 있고 오퍼레이터를 객체화 한 task가 존재

Task 수행 주체

스케쥴러 = 뇌(머리)

1. 파싱 : Dag 파일 읽어서, 컴파일(문법체크) , task 관계 파악
2. 정보저장 : 파싱한 정보를 메타 DB에 저장
3. Start시간 확인 후 시작 명령어 날림 -> 워커에게 지시

워커 = 실제 task 수행

1. 스케쥴러가 시킨 DAG파일 수행
2. 처리 전/후에 메타 DB에 업데이트

Docker-compose.yaml파일에 경로 변경

서버(wsl)
1. docker-compose.yaml파일 + dags, logs,plugins 파일 내가 만들어 놓음
2. airflow 폴더(git) clone 해서 개발환경(local)이랑 연결해 놓음
=> 2번 airflow폴더 아래 dags랑 1번 dags랑 연결해야 원활하게 수행 됨
틀린 설명 : 왜 . 경로에 dags폴더 만들었는지 확인 필요

Airflow 서버는 docker-compose.yaml파일의 저장위치와 동일한 경로의 dags폴더에 파일을 사용해서 수행되기 때문에
틀린 설명 : 왜 . 경로에 dags폴더 만들었는지 확인 필요

아래 그림에서 왼쪽 wsl(서버) 디렉토리 볼륨 , 오른쪽 컨테이너 디렉토리 볼륨 연결