1. Docker & Docker Compose 설치

먼저, Docker Desktop이 설치되어 있어야 합니다.
설치 여부 확인:
docker --version
docker-compose --version

2. Install Docker Desktop on Mac

docker 설치 경로

위 경로 접속해서 docker 설치
프로세서 맞춰서 설치 진행

설치버전
Docker version 27.5.1, build 9f9e405

Docker Compose version v2.32.4-desktop.1

3. docekr info 확인하기

docker info 
docker run hello world

docker 테스트 띄워보기

4. docker-compose.yaml

docker-aiflow

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.5/docker-compose.yaml'

1개이상의 컨테이너를 다루게 될때 스크립트 하나로 제어가능

DB init

docker compose up airflow-init

docker compose up

airflow 를 띄우면 6개의 컨데이너가 올라온다 .

airflow webserver 접속

http://localhost:8080/home

5. DAG 구조와 상태

일반적으로 left -> right 방향성을 가짐

✅ 1. DAG 상태 종류
1️⃣ Active 상태 (실행 관련)
상태 설명
running DAG이 현재 실행 중이며, 일부 태스크가 진행 중
queued DAG 실행이 예약되었지만 아직 실행되지 않음
success DAG 실행이 정상적으로 완료됨
failed DAG 실행 중 하나 이상의 태스크가 실패하여 DAG 전체가 실패 상태가 됨
2️⃣ Inactive 상태 (비실행 관련)
상태 설명
paused DAG이 일시 중지되어 새로운 실행이 발생하지 않음
none DAG 실행 기록이 없음 (초기 상태)
✅ 2. 개별 태스크 상태(Task Instance States)
1️⃣ 실행 관련 상태
상태 설명
running 현재 실행 중
queued 실행 대기 중 (리소스 부족 또는 스케줄러 대기)
up_for_retry 이전 실행이 실패하여 재시도 대기 중
success 정상 완료
2️⃣ 오류 및 중단 상태
상태 설명
failed 태스크 실행 중 오류 발생
upstream_failed 선행 태스크가 실패하여 실행되지 않음
skipped 특정 조건에 의해 실행되지 않음
3️⃣ 기타 상태
상태 설명
scheduled DAG 스케줄에 의해 실행 예약됨
shutdown 시스템 종료 등으로 인해 중단됨
deferred 실행이 일시적으로 보류됨 (센서에서 주로 사용)

6. Container Python install

1. 로컬에서 dag 작성
2. 로컬에서 만든 dag -> git push & pull
3. 로켈에서 만든 dag 컨테이너 배포
   *주의사항 : local python version == container python version

container python version 확인 -> airflow-worker-1

sudo docker exec -it <컨테이너ID 또는 컨테이너이름> /bin/bash

local python 버전과 컨테이너 버전 일치