airflow 설치

1. ec2 생성
   • ubuntu
   • t3.large
   • 20gb
   • 보안그룹 8080 열어주기

2. ec2 인스턴스 환경에 도커 깔아주기
   • 도커 설치하기

3. docker 환경에 airflow 설치하기
   • 공식 홈페이지

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.1/docker-compose.yaml'

mkdir -p ./dags ./logs ./plugins ./config
echo -e "AIRFLOW_UID=$(id -u)" > .env

AIRFLOW_UID=50000

docker compose up airflow-init

4. 실행

docker compose up

5. 확인해보기

sudo docker ps

6. dags 파일 생성해보기

• dags_bash_operator.py

from airflow import DAG
import datetime
import pendulum
from airflow.operators.bash import BashOperator

with DAG(
    dag_id="dags_bash_operator",
    schedule="0 0 * * *",
    start_date=pendulum.datetime(2024, 6, 1, tz="Asia/Seoul"),
    catchup=True
    ) as dag:
    bash_t1 = BashOperator(
    task_id="bash_t1",
    bash_command="echo whoami",
    )

    bash_t2 = BashOperator( task_id="bash_t2",
    bash_command="echo $HOSTNAME", )

    bash_t1 >> bash_t2

7. 진입

• ec2 public Ip :8080으로 들어가면됨