#14 Weekly Paper _Dag, Task

DAG와 Task의 관계에 대해 예시를 들어 설명해주세요

1. DAG (Directed Acyclic Graph)

• 방향성 있는, 순환이 없는 그래프
• Airflow에서는 데이터 파이프라인 전체 작업 흐름(Workflow)을 정의하는 단위
• 즉, 데이터 수집 -> 데이터 전처리 -> 모델 학습 -> 결과 저장 이러한 전체 프로세스가 하나의 DAG

2. Task

• DAG를 구성하는 개별 작업 단위
• ex:
  - 1. 데이터 추출
  - 2. 데이터 정제
  - 3. 모델 학습
  - 4. 결과 저장
  각각이 하나의 Task

3. DAG와 Task의 관계

• DAG는 프로젝트 전체 계획서이고, Task는 그 안의 개별 업무
• ex:
  - [DAG: 고객 이탈 예측 파이프라인]
  • Task1: DB에서 데이터 가져오기 ->
  • Task2: 결측치 처리 ->
  • Task3: Feature Engineering ->
  • Task4: XGBoost 모델 학습 ->
  • Task5: 예측 결과 저장

4. 왜 DAG 구조를 사용할까?

• 작업 순서를 명확하게 관리하기 위해서

DAG(Directed Acyclic Graph)는 Airflow에서 데이터 파이프라인 전체 워크플로우를 정의하는 단위이며, Task는 DAG를 구성하는 개별 작업 단위이다.
예를 들어, 데이터 수집, 전처리, 모델 학습, 결과 저장 과정이 있다면 전체 프로세스는 하나의 DAG가 되고 각 단계는 각각의 Task가 된다. DAG는 Task 간의 실행 순서와 의존성을 관리하며, 순환 구조 없이 방향성을 가진 그래프로 표현된다. 따라서 파이프라인을 자동화하고 관리하는데 핵심적인 역할을 한다.

😎