EC2 Airflow 설치하기(1)

환경: Ubuntu, 인스턴스 유형 t3.xlarge

1. Redis 설치

WORKER 노드 메세지와 큐 관리를 위하여 설치가 필요

sudo apt update
sudo apt-get update
sudo apt install build-essential -y

sudo apt install lsb-release

sudo apt-get install redis -y
ps -ef | grep redis

MYSQL 설치

METASTORE - 작업 시작 시간, 종료 시간, 로그 위치, 작업 상태 등이 포함
백엔드 데이터 - Airflow의 실행 정보, DAG 상태, 태스크 인스턴스의 상세 내역 등을 관리

sudo apt-get install mysql-server

CREATE DATABASE airflow_db CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
CREATE USER '$airflow_user' IDENTIFIED BY '$airflow_pass';
GRANT ALL PRIVILEGES ON airflow_db.* TO '$airflow_user';

원활한 접속을 위햬(로컬에서든지 서로든지) binding address 설정이 필요하다

bind-address            = 0.0.0.0
mysqlx-bind-address     = 0.0.0.0