이번 포스트에서는 Document를 다루는 API에 대해 알아볼 예정이다.Index에 Document를 삽입하는 것을 인덱싱이라고 한다.POST body로 document 생성위의 결과에서 눈 여겨 볼 점은 \_shards 정보와 \_id 정보이다.앞서 인덱스를 생성할

ES 구조(아키텍처) Node : ES 프로세스 1개를 의미. 단일 머신에서 여러 개의 노드도 실행이 가능하지만, HA 확보를 위해 운영환경에서는 추천하지 않음 Shard : 하나의 인덱스를 인덱스 조각으로 나눴을 때의 각 인덱스 조각. 위 그림의 경우 1개의 인덱스

Elasticsearch에 대해 빠르게 알아보자 Elasticserarch Elasticsearch는 Apache Lucene 기반의 Full-text 검색엔진입니다. Near Real-time 인덱싱 과 ELK 스택과의 연동성 이 주요 특징인 오픈소스 검색엔진. D

지난 시간에는 다양한 Operator를 이용하여 DAG를 직접 만들어보았다. 그러나, 마지막 부분에 설명을 정확히 하지 않고 넘어간 부분이, 바로 Task들의 의존성(디펜던시) 표시 방법이다. 앞서 만들어보았던 DAG는 복잡한 디펜던시를 가지고 있지 않았기 때문에,

이번 시간에는 직접 DAG를 작성하며, 배울 점들을 배워보자! DAG 구성 만들어볼 DAG는 아래 5가지 Task와 모두 다른 Operator로 구성할 예정이다. SQLite Table을 생성 : SQliteOperator API가 Available한 상태인지 확인 :

이제 로컬에 Airflow를 설치해보자!venv(Virtual Environment)는 일종의 샌드박스이다.venv 안에서 설치한 파이썬 패키지는 외부에 영향을 받거나 미치지 않고,venv를 activate 해야만 설치했던 패키지에 접근 할 수 있다.airflow를 설

Airflow 아키텍쳐와 동작 스케줄

Docker Logo이번 시간에는 도커를 이용하여 애플리케이션을 실행, 배포하는 방법에 대해 알아보자.우선 Docker의 이미지와 컨테이너 개념에 대해 간략하게 알아보자컨테이너를 구성하는 파일 시스템과 실행할 애플리케이션 설정을 하나로 합친 것이다.컨테이너를 생성하는

Docker가 중요하게 된 스토리!

Airflow에 대한 개념