Apache Airflow Docker Compose로 간단하게 설정하기

사전 준비 사항

1. Docker와 Docker Compose 설치: Docker Compose 버전 2.14.0 이상 필요하며, Docker 메모리는 최소 4GB로 설정해야 합니다.

2. 메모리 설정: macOS 사용자는 Docker에 최소 4GB(이왕이면 8GB)의 메모리를 할당하세요.

설치 및 설정 단계

1단계: docker-compose.yaml 파일 가져오기

Airflow 서비스 정의가 포함된 파일을 다운로드합니다.

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.2/docker-compose.yaml'

2단계: 환경 준비

필요한 디렉토리를 생성하고 Airflow 사용자 ID를 설정합니다.

mkdir -p ./dags ./logs ./plugins ./config
echo -e "AIRFLOW_UID=$(id -u)" > .env

비리눅스 시스템에서는 .env 파일에 AIRFLOW_UID=50000을 추가하세요.

3단계: 데이터베이스 초기화

데이터베이스를 초기화하고 첫 사용자 계정을 생성합니다.

docker compose up airflow-init

관리자 계정 airflow와 비밀번호 airflow가 생성됩니다.

4단계: Airflow 서비스 시작

모든 서비스를 시작합니다.

docker compose up -d

로그 확인은 아래 명령어로 가능합니다.

docker compose logs -f

또는 로그를 파일에 저장하려면:

docker compose up -d &> airflow_logs.txt

컨테이너 상태는 다음 명령어로 확인합니다.

docker ps

5단계: Airflow 웹 인터페이스 접속

브라우저에서 http://localhost:8080으로 접속하여 기본 계정(airflow/airflow)으로 로그인합니다.

추가 팁

• 정리 방법: 모든 컨테이너, 볼륨, 이미지를 중지하고 삭제하려면:

  docker compose down --volumes --rmi all

• 추가 의존성 설치: 추가 의존성이 필요하면 커스텀 Dockerfile을 작성하고 docker-compose.yaml에서 이를 빌드하도록 설정하세요.

마무리

위 설정은 개발 및 학습 환경에 적합합니다. 프로덕션 환경에서는 Kubernetes를 통해 더 나은 보안성과 확장성을 고려하세요.

출처: Apache Airflow 공식 문서