시리즈

🪜 데이터 파이프라인

1.[Airflow] Airflow 기본 개념 정리

⭐ Airflow 소개 1. Airflow란? 파이썬으로 작성된 데이터 파이프라인(ETL) 프레임웍 Airbnb에서 시작한 아파치 오픈소스 프로젝트 가장 많이 사용되는 데이터 파이프라인 관리/작성 프레임웍 데이터 파이프라인 스케줄링 지원 정해진 시간에 ETL

2024년 11월 12일

2.[Airflow] Docker 기반 Airflow 설치

📖 Running Airflow in Docker 참고문서https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.htmlAirflow는 여러 컨테이너를 필요로 하기 때문

2024년 11월 8일

3.[Airflow] PythonOperator를 사용해서 Airflow DAG 작성하기

⭐ PythonOperator & Aiflow Decorators(@) 1. PythonOperator 개념 > Apache Airflow에서 제공하는 연산자(Operator) 중 하나로, Python 함수를 실행하는 데 사용 PythonOperator는 사용자가 정

2024년 11월 23일

4.[Airflow] MySQL 테이블 Redshift로 복사하기

MySQL (OLTP) -> Airflow Server -> S3 -> Redshift (OLAP)Redshift COPY CommandMySQL (OLTP) -> Local Disk -> Redshift (OLAP)INSERT Command1번 방식으로 실습해볼 예정

2024년 11월 24일