airflow 설치 및 로컬에서 실행시키기

1.airflow 설치

가상환경에서 작업을 하기를 적극 권장한다.

Tech Stacks
Python (v3.9.5)
Airflow (v2.2.4)
Google Cloud Storage (GCS)
BigQuery

1.1 가상환경을 만든 후 가상환경에 접속한다.

python -m venv venv 
source ./venv/bin/activate

1.2 가상환경에 airflow를 설치한다.

pip3 install apache-airflow

여기까지 설치가 되면 가상 환경에 bin 폴더에 airflow가 정상적으로 설치되었다.

AIRFLOW_HOME=~/airflow가 디폴트이다. 환경변수를 설정해주자.

1.3 airflow의 metadata를 보관하는(사용자 정보같은 것들) db를 반들자.

airflow db init

airflow users create \
    --username admin \
    --firstname Peter \
    --lastname Parker \
    --role Admin \
    --email spiderman@superhero.org

2. airflow 실행

기존 터미널에서 아래의 코드를 입력해주자.

airflow webserver --port 8080

다른 터미널을 켜준 후 가상환경에 먼저 접속하자.

source ./venv/bin/activate

환경변수 설정 후 스케듈러를 실행해보자.

AIRFLOW_HOME=~/airflow
airflow scheduler

http://localhost:8080/ 에 접속이 가능하다.