[Airflow] 윈도우에 Docker를 이용해 Airflow 설치하기

Apache Airflow의 공식 문서를 참고했다.

Docker 설치

1. Docker 설치
   이 링크에서 설치 파일을 다운받아 그대로 진행한다.

2. (생략) WSL 설치 참고 링크
   Docker 사용을 위해서는 Hyper-v를 사용하거나 WSL를 설치해야하는데 최근 버전의 Docker는 설치될 때 WSL이 같이 설치된다. Docker를 설치하면서 WSL을 설치하는 옵션을 해제했다면 아래 코드로 설치하면 된다.

   wsl --install
   ## 또는
   wsl --install -d <Distribution-name> 
   ## Distribution-name은 Ubuntu, OpenSUSE, Kali, Debian, Arch Linux 등 한개를 골라 쓰면 된다.

3. Linux 커널 업데이트 패키지 다운로드
   Docker를 실행하면 다음과 같은 창이 뜨는데 링크로 들어가서
   업데이트 패키지를 다운로드 한다.
   설치 다 되면 Restart 클릭.
   

4. Docker 설치 확인
   terminal에 다음 코드를 실행시킨 후

   docker -v

   docker의 버전이 나오면 제대로 설치된 것.

---

Docker Compose 설치

window에서는 Docker를 설치하면 Docker Compose가 Docker Engine과 함께 자동 설치된다.

docker-compose -v

docker compose 버전이 리턴되면 정상적으로 설치된 것을 확인할 수 있다.

---

환경 설정

C:\Users\user\.docker 경로에 이 url 을 다른 이름으로 저장해서 docker-compose.yml 이름으로 저장했다. MAC에서는 curl 명령어를 사용해서 파일을 다운받을 수 있는데 Window에서는 잘 모르겠어서 수동으로 진행..

그리고 docker-compose.yml 파일이 있는 폴더에 .env 파일을 생성해서

AIRFLOW_UID=50000

이라고 입력 후 저장한다. permission 오류가 발생했다면 AIRFLOW_UID를 제대로 설정했는지 확인해보기 바란다.

---

Airflow 시작하기

데이터베이스 초기화를 진행하자.

# yml파일을 저장한 경로로 이동. 
cd <yml파일저장경로>
# DB 마이그레이션과 계정 생성을 진행한다.
docker-compose up airflow-init

초기화가 완료되었으면 Airflow를 실행한다.

# 컨테이너들을 백그라운드에 띄우기
docker-compose up
# 컨테이너 상태 확인
docker ps

위 코드를 실행했을 때 컨테이너 리스트와 상태가 뜨면 잘 된 것.

---

Airflow 접근

총 3가지 방법(CLI명령/웹 인터페이스/REST API)으로 접근할 수 있다.
나는 웹 인터페이스(http://localhost:8080/)로 접근. 별다른 설정을 하지 않았다면 초기 ID와 PW는 모두 airflow이다.

• ID : airflow
• PW : airflow

---

끝!