Mac에서 Docker Compose로 Airflow 설치 및 실행 후기

1. 준비 단계

• 폴더 생성
  원하는 위치에 airflow-docker 폴더를 만들고 이동함.

  mkdir airflow-docker
  cd airflow-docker

  

2. docker-compose.yaml 파일 다운로드

• 공식 문서에서 Airflow 설정 파일을 다운로드.

  curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.0.4/docker-compose.yaml'

3. 작업 폴더 및 환경 변수 파일 생성

• Airflow가 사용할 폴더를 만듦.

  mkdir -p ./dags ./logs ./plugins ./config

• 도커 컨테이너의 권한 문제를 막기 위해 환경 변수 파일 생성.

  echo -e "AIRFLOW_UID=$(id -u)" > .env

4. Docker Compose 설치

• MacOS에서는 Homebrew로 설치.

  brew install docker-compose

• 설치 후 정상 동작 확인.

  docker-compose --version

5. Airflow 데이터베이스 초기화

• 초기 관리자 계정과 데이터베이스 세팅.

  docker-compose up airflow-init

• 성공 메시지: airflow-init-1 exited with code 0

6. Airflow 서비스 실행

• 모든 서비스(웹서버, 워커, 스케줄러 등) 실행.

  docker-compose up

7. 웹 인터페이스 접속

• 브라우저에서 http://localhost:8080 접속.
• 기본 로그인 정보
  • 아이디: airflow
  • 비밀번호: airflow

8. DAG 파일 관리

• airflow-docker/dags 폴더에 파이썬 파일을 추가하면 자동으로 인식됨.
• DAG란?
  Airflow에서 작업 흐름(Workflow)을 정의하는 파이썬 코드.
  여러 작업(Task)의 실행 순서와 조건을 지정함.

9. 에러 및 해결 경험

• docker compose 명령이 안 될 때
  → docker-compose(하이픈 포함) 명령어로 실행.
• Docker 데몬이 꺼져 있으면
  → Docker Desktop 앱을 실행해서 데몬 활성화.

10. 마무리

• 설치 과정에서 막히는 부분은 차례대로 에러 메시지를 확인하며 해결.
• 공식 문서와 여러 블로그 참고하면 쉽게 따라할 수 있음.
• DAG 작성 및 테스트는 별도의 실습에서 다룰 예정.