โญ Airflow ์๊ฐ 1. Airflow๋? ํ์ด์ฌ์ผ๋ก ์์ฑ๋ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ(ETL) ํ๋ ์์ Airbnb์์ ์์ํ ์ํ์น ์คํ์์ค ํ๋ก์ ํธ ๊ฐ์ฅ ๋ง์ด ์ฌ์ฉ๋๋ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ด๋ฆฌ/์์ฑ ํ๋ ์์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ์ค์ผ์ค๋ง ์ง์ ์ ํด์ง ์๊ฐ์ ETL

๐ Running Airflow in Docker ์ฐธ๊ณ ๋ฌธ์https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.htmlAirflow๋ ์ฌ๋ฌ ์ปจํ ์ด๋๋ฅผ ํ์๋ก ํ๊ธฐ ๋๋ฌธ

โญ PythonOperator & Aiflow Decorators(@) 1. PythonOperator ๊ฐ๋ > Apache Airflow์์ ์ ๊ณตํ๋ ์ฐ์ฐ์(Operator) ์ค ํ๋๋ก, Python ํจ์๋ฅผ ์คํํ๋ ๋ฐ ์ฌ์ฉ PythonOperator๋ ์ฌ์ฉ์๊ฐ ์

MySQL (OLTP) -> Airflow Server -> S3 -> Redshift (OLAP)Redshift COPY CommandMySQL (OLTP) -> Local Disk -> Redshift (OLAP)INSERT Command1๋ฒ ๋ฐฉ์์ผ๋ก ์ค์ตํด๋ณผ ์์