9주차. 데이터 파이프라인, Airflow

데이터 웨어하우스 외부 -> 내부데엔들의 업무DW 내부 데이터 조작 -> 새로운 데이터 테이블 생성 ( SQL의 CTAS )데이터 분석가데이터 레이크 상에서 수행하기도 함dbt 사용( data build tool )Scale이 큰 Storage ( DW의 몇 배 )구조

PythonOperator DocumentPython Operator 를 사용한 Airflow DAG 생성 load_nps = PythonOperator( dag = dag, task_id = 'task_id', python_callable = py

Yahoo Finance API 호출해서 애플 주식 읽어오는 Full Refresh 기반의 DAG 만들기Task 1: Extract/Transform\\Task 2: Load \\with yfinance pip install yfinance\\테이블 삭제,레코드 적재