Airflow설치 with Docker

왼쪽에 vscode/airflow 가 로컬 환경 ,
오른쪽에 wsl이 서버 환경이라고 가정하고 진행

1. wsl 설치,도커 설치 wsl 참고- (mac pass )

    sudo apt-get remove docker docker-engine docker.io dontainerd runc
    sudo apt-get update
    sudo apt-get install ca-certificates curl gnupg lsb-release
    
    #gpg key
    sudo mkdir -m 0755 -p /etc/apt/keyrings
    
    curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
    
    echo   "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs)  stable" |   sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
    
    sudo apt-get update
    sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
    
    sudo docker run hello-world
    
    sudo service docker start 
    
    sudo docker run hello-world
    

2. Airflow yaml파일 다운로드
   server(wsl경로)에서 아래 코드 수행후 docker-compose.yaml파일 다운로드 되었는지 확인.
   참고 : https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.1/docker-compose.yaml'

3. 기본 디렉토리 구성
   해당 디렉토리 별 설명/목적은 추후 작성

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env

4. Airflow 서비스 설치

   sudo docker compose up airflow-init

5. 도커 수행

   sudo docker compose up

id : airflow / pass : airflow
localhost:8080