# airflow

83개의 포스트
post-thumbnail

[airflow] Covid-19 ETL by bigquery #3

본격적인 DAG 만들기 및 Extract data process 구축하기

2022년 6월 18일
·
0개의 댓글
post-thumbnail

[airflow] Covid-19 ETL by bigquery #2

airflow에서 각종 provider 설치하기

2022년 6월 17일
·
0개의 댓글
post-thumbnail

[airflow] Covid-19 ETL by bigquery #1

GCP를 이용해 가상 머신 먼저 생성 및 airflow 환경 세팅 방법 정리

2022년 6월 14일
·
0개의 댓글
post-thumbnail

[airflow] branch operator 로 조건별로 task 수행시키기

branch operator를 활용해보기

2022년 6월 13일
·
0개의 댓글
post-thumbnail

[airflow] Xcoms 에 대한 리뷰

Xcom을 활용한 task들간 소통하기

2022년 6월 13일
·
0개의 댓글
post-thumbnail

[airflow] 복잡한 dag를 추상화 하기

task group을 활용한 airflow dag 추상화

2022년 6월 13일
·
0개의 댓글
post-thumbnail

[airflow] 에어플로우에서 알아야할 중요한 파라미터들!

에어플로우 parallelism, concurrency 등에 대한 리뷰

2022년 6월 10일
·
0개의 댓글
post-thumbnail

[airflow] Executor 들에 대해 알아보자 #2

celery executor 에 대한 리뷰

2022년 6월 10일
·
0개의 댓글
post-thumbnail

[airflow] Executor 들에 대해 알아보자 #1

sequential executor, local executor 에 대한 리뷰

2022년 6월 9일
·
0개의 댓글
post-thumbnail

[airflow] DAG scheduling 및 debuging!!

airflow exectuion date 및 catchup backfilling에 대해 정리

2022년 6월 9일
·
0개의 댓글
post-thumbnail

Airflow

AirBnB에서 만든 workflow management toolPython 코드로 워크플로우(workflow)를 작성하고, 스케쥴링, 모니터링 할 수 있는 플랫폼일련의 작업 흐름Not ETL → workflow 및 파이프라인을 관리하는 툴관리란?workflow 작성

2022년 6월 8일
·
0개의 댓글
post-thumbnail

[airflow] DAG에 대해 알아보고 만들어보기 #2

airflow dag 구성해보기

2022년 6월 7일
·
0개의 댓글
post-thumbnail

[airflow] DAG에 대해 알아보고 만들어보기 #1

DAG에 대한 전반적인 설명 기술

2022년 6월 2일
·
0개의 댓글
post-thumbnail

Airflow + SageMaker ML 파이프라인 개발 삽질기

Airflow + SageMaker는 뭐다?? 뭐긴 뭐야 야근이지..ㅠㅠ

2022년 5월 29일
·
2개의 댓글
post-thumbnail

airflow의 싱글 노드 멀티 노드 아키텍쳐

airflow의 아키텍쳐

2022년 5월 17일
·
0개의 댓글
post-thumbnail

Apache Airflow

Airflow는 Airbnb에서 회사의 워크플로를 관리하기 위해 만들었습니다. 처음부터 프로젝트를 오픈소스로 만들었고, 지금은 아파치 소프트웨어 파운데이션의 최상위 프로젝트가 되었습니다. Airflow는 DAG(방향성 비순환 그래프)를 이용하여 워크플로를 관리합니다.

2022년 5월 17일
·
0개의 댓글

[Airflow] 설정, 예제

해당 페이지에서는 Airflow를 통한 데이터를 조회하고 삽입하는 부분에 대해서 서술한다.Jupyter Notebook을 통해 선행으로 예제가 작성되었으며 이로인한 task는하나로만 정의하고자 한다. task를 분할하지 않는 이유는, airflow에서 DataFrame

2022년 5월 16일
·
0개의 댓글

[Python] Airflow DB 연동 및 예제

해당 페이지에서는 이미 설치되어있는 airflow(SQLite)를 PostgreSQL을 이용한연결로 변경하고자 함이다.EMR의 설치로 인하여 HUE전용 MySQL이 설치가 되어 있어서 해당 부분에 연동을 하려고 하였는데, EMR을 최신버전으로 설치했음에도 불구하고 버전

2022년 5월 13일
·
0개의 댓글
post-thumbnail

[ETL] Airflow 와 Jenkins 비교 - 무엇을 사용할까?

회사에서 현재 기획 단계에 있는 새로운 시스템을 위해 ETL을 설계 & 구현해야 할 일이 생겼다. 수집된 raw data 가 서비스에 사용되기까지 많은 가공 단계를 거쳐야 할 것으로 예상되는데... 이 정도로 복잡한 데이터 파이프라인 구축은 경험해본 적이 없어서 고민

2022년 5월 6일
·
2개의 댓글
post-thumbnail

[AirFlow] AirFlow 용어 정리

AirFlow 기본 동작 순서 AiFlow는 일련의 작업 흐름을 DAG(Directed Acyclic Graph)로 관리 metadata databasedag 정보, 실행이력, 스케줄링 이력, 유저 정보 등 실행하는 workflow에 필요한 메타데이터를 저장한다.web

2022년 4월 25일
·
0개의 댓글