[GCP] Cloud composer

Cloud composer

Apache Airflow를 기반으로 하는 완전 관리형 워크플로 조정 서비스입니다.

A fully managed workflow orchestration service

Cloud Composer는 Python API를 사용하여 워크플로를 빌드하고, 워크플로를 자동으로 실행되도록 예약하거나 수동으로 시작하고, 그래픽 UI를 통해 작업 실행 현황을 실시간으로 모니터링할 수 있게 해줍니다.

• 하이브리드 및 멀티 클라우드 환경을 아우르는 파이프라인을 작성, 일정 예약, 모니터링합니다.
• Apache Airflow 오픈소스 프로젝트에 빌드되며 Python으로 작동
• 종속되지 않고 사용이 간편합니다.

워크플로, DAG, 작업

데이터 분석에서 워크플로는 데이터 수집, 변환, 분석 또는 사용을 위한 일련의 작업을 나타냅니다. Airflow에서 워크플로는 DAG(Directed Acyclic Graph)를 사용하여 생성됩니다.

DAG는 관계 및 종속 항목을 반영하는 방식으로 구성된 예약하고 실행하려는 작업의 모음입니다. DAG는 코드를 사용하여 DAG 구조(작업 및 종속 항목)를 정의하는 Python 스크립트에서 생성됩니다.

DAG의 각 작업은는 거의 모든 것을 나타낼 수 있습니다. 예를 들어 한 작업은 다음 기능을 수행할 수 있습니다.

• 수집을 위한 데이터 준비
• API 모니터링
• 이메일 보내기
• 파이프라인 실행

DAG는 각 구성 작업의 기능과 관련되지 않습니다. 이러한 이유는 각 작업이 적절한 시점에, 올바른 순서로 실행되거나 올바른 문제 처리를 통해 실행되도록 하기 위함입니다.