Airflow
1.[AWS] Ubuntu GUI 설치 및 실행
Ubuntu desktop 을 설치해도 오류가났다.Ubuntu에서 TightVNC를 사용하여 AWS EC2 인스턴스에서 우분투 데스크톱을 실행 라는 튜토리얼이 있었다.OS : ubuntu-22.04-amd64-server인스턴스 정보 : t2.xlargeOS : Ubu
2.[Linux ]Ubuntu 22.04 에 Docker Desktop 설치하기(+추가설정)
0. 실행 환경 > AWS OS : Ubuntu-Jammy-22.04-amd64-server 인스턴스 유형 : t2.xlarge 1. Docker의 패키지 저장소 설정 1.1 저장소 설정 1.2 Docker의 공식 GPG 키 추가 1.3 리포지토리 설정 1.4
3.[Airflow] 1. Apache Airflow란?
Airflow란? 웹 UI를 통해 배치 데이터 파이프라인을 작성, 스케줄링 및 모니터링하여 프로그래밍 방식으로 처리하는 오케스트레이터 An orchestrtor to deal with batch data pipelines programatically by autho
4.[Airflow] 2. Airflow 구성 자세히 살펴보기
Dag 란? Operator 란? 1 operator 1 task 
Airflow 컨테이너 실행
6.[Airflow] 5-3. 데이터 파이프라인 구성하기 : Executor
Executor 란? @ airflow.cfg executor = SequentialExecutor @ docker-compose.yaml environment: AIRFLOWCOREEXECUTOR: CeleryExecutor => AIRFLOWDOREEXECUT
7.[Airflow] 6. TaskGroup으로 Task 그룹화하기
group_dag.py 클릭하면 group_dag.py groups/group_sleeps.py
8.[Airflow] 6-1. SubDagOperator -> TaskGroup 변환하기 (ImportError : SubDagOperator )
Task를 그룹화하기 위해 SubDagOperator를 사용하면 아래와 같은 오류가 발생한다. SubDagOperator를 사용할 수 없다는 오류인데, Airflow Docs를 찾아보면 SubDagOperator 대신 TaskGroup을 사용하라고 나온다.
9.[Airflow] 7. Implementing
Xcom으로 task간 데이터 공유하기 SQLite : 2GB Postgres : 1GB MySQL : 64 KB Operator가 작동하면 task 인스턴스가 생성됨 ti : task 인스턴스 ti 파라미터를 이용하는데 task 인스턴스 오브젝트 xcom 메서드로
10.[Airflow] 8. Airflow plugin 생성하기
Airflow plugin 생성
11.[Airflow] Airflow 설치하기(pip)
airflow 설치하기