airflow
1.Airflow의 DAG란?
DAG의 개념(https://www.genspark.ai/agents?id=868c9413-a76d-4dcd-b3a2-e8ccb94293302. DAG의 기본 구조와 구성요소(https://www.genspark.ai/agents?id=868c9413
2.Airflow란? 데이터 파이프라인 오케스트레이션의 완벽한 도구
데이터 엔지니어링 분야에서 가장 중요한 도구 중 하나로 자리 잡은 Apache Airflow에 대해 알아보겠습니다. 복잡한 데이터 워크플로우를 쉽게 관리하고 싶으신가요? 데이터 파이프라인 작업을 자동화하고 모니터링하는 효과적인 방법을 찾고 계신가요? 그렇다면 Airfl
3.아파치 에어플로우(Apache Airflow)의 스케줄러 이해하기와 활용법
스케줄러(Scheduler)란?(https://www.genspark.ai/agents?id=d6009233-cc18-4153-806e-d8361c6c559e2. 스케줄러의 주요 기능과 역할(https://www.genspark.ai/agents?id
4.아파치 에어플로우(Apache Airflow) 설치 가이드
아파치 에어플로우는 데이터 파이프라인을 프로그래밍 방식으로 작성, 예약 및 모니터링할 수 있는 플랫폼입니다. 이 블로그에서는 다양한 환경에서 에어플로우를 설치하는 방법을 알아보겠습니다.아파치 에어플로우란?(https://www.genspark.ai/agents
5.Airflow의 Asset이란? 간단한 사용법
Airflow의 Asset은 Airflow 2.4 버전부터 도입된 기능으로, 데이터 중심의 워크플로우를 구축할 수 있도록 지원합니다. Asset은 구체적인 데이터 엔티티(예: S3 버킷의 파일, 데이터베이스 테이블 등) 또는 추상적인 데이터 엔티티를 나타내는 객체입니다
6.Airflow 3.0.0: 차이점과 신기능 소개
2025년 4월 22일, Apache Airflow의 역사상 가장 중요한 릴리스인 Airflow 3.0.0이 공식 출시되었습니다. 이번 릴리스는 2020년 12월에 출시된 Airflow 2.0 이후 4년 만의 메이저 업데이트로, 서비스 지향 아키텍처, 안정적인 DAG
7.Airflow의 XCom이란? 간단한 사용법
Apache Airflow에서 XCom은 Cross Communication의 약자로, 하나의 DAG(Directed Acyclic Graph) 내에서 서로 다른 태스크(Task) 간에 데이터를 주고받을 수 있게 해주는 기능입니다. 이는 마치 작업자들이 메모를 주고받는
8.Airflow 간단한 DAG 작성: DB의 테이블을 Parquet 파일로 변환하여 AWS S3에 업로드하기
데이터 파이프라인에서 가장 흔한 작업 중 하나는 데이터베이스에서 데이터를 추출하여 분석에 적합한 형식으로 변환한 후 저장하는 것입니다. Parquet은 컬럼 기반 저장 방식으로 효율적인 압축과 빠른 쿼리 성능을 제공하는 데이터 형식입니다. 이번 글에서는 Apache A