Airflow 자동 배포하기

: 강의를 들으면서 DAG가 변경됨에 따라 자동적으로 Docker image를 빌드, 배포하는 과정을 수행해보고 싶어 시작하게 되었다.

구성

현재 Windows의 WSL을 사용해서 Docker를 실행, 그 위에서 Airflow를 동작하고 있었다. dags 폴더를 통해 DAG들을 관리하는데 이것을 github와 연동하여 관리 및 DAG변경, 추가 시에 gihub Action를 통해 Docker hub에 이미지를 새로 빌드하는 과정을 자동화한다.

• 정리: WSL에서의 DAG 변경 > Github에 push 및 Github Actions를 통한 DockerHub에 이미지 빌드

Diagrams를 활용하여 구성해보았다. Diagrams

기본 환경 구성

Airflow 설치 (with Docker)

• Airflow 설치

GitHub 연결

• Repository 변경하기
  : 기존 clone을 통해서 설정된 repo를 내 github repository로 변경해주는 작업 수행
• dags 폴더만 push하기위해 gitignore 작성

*
!/dags/
!/dags/*
!/README.md

---

발생 문제들

• github connection
  : github와 연결을 위해서 email과 password를 사용했었는데 이제는 토큰을 생성해서 진행해야한다는 에러가 발생하여 다음 블로그를 참고해 진행하였다. https://curryyou.tistory.com/344
• 추가로 매번 push마다 로그인 요청을 해서 copilot에게 로그인을 한번하면 자격증명을 저장하는 방법을 물어보았더니 다음 방법을 권유하였다.
  1.사용자 이름과 이메일 설정
  2. Https 사용 시 credential helper 설정

git config --global user.name "your_username" 
git config --global user.email "your_email@example.com" 

git config --global credential.helper store

• gitignore 작성 후에도 파일이 계속 add되는 현상
  : 기존에 관리되던 캐시를 삭제해야한다. 아래 명령 수행 후에 commit을 진행해야 적용된다고 한다. 참고: https://csj000714.tistory.com/859

git rm --cached * -r

---

github와 연결만으로도 많은 시간을 투자했다... 다음에는 github Actions를 통해서 Docker image를 자동으로 생성하는 과정을 해보려한다.