# data engineering
총 149개의 포스트
[Kafka] Kafka Connect 카프카 커넥트란?
카프카 커넥트는 데이터 파이프라인 생성 시 반복적인 작업을 줄이고, 효율적인 전송을 하기 위한 애플리케이션이다.누추하게 나마 그림을 그려보았습니다.. (공대오길 잘했다..)실질적인 데이터 처리는 커넥트 에서 담당하는데, 사용자가 커넥트에 커넥터 생성 명령을 내리면 커넥
2023년 11월 28일
·
0개의 댓글·
1[Kafka] KSQL Push Query 와 Pull Query
ksqlDB의 두가지 쿼리 타입인 Push QueryPull Query 에 대하여 정리 해보겠습니다..ksql 서버에서 진행중인 스트리밍 이벤트에 대한 실시간 처리를 요청하는 쿼리연속된 stream을 반환한다.스트리밍 데이터의 변경사항이 발생할 때마다 자동으로 결과를
2023년 11월 28일
·
0개의 댓글·
1
Opensearch - 3
샤드 할당(Shard Allocation)과 재배치(Rerouting) 샤드할당 : 노드에 샤드를 할당하는 것 클러스터 매니저는 어떤 샤드를 어떤 노드에 할당하고, 언제 노드 간에 샤드 이동이 필요한지 결정 샤드 할당 발생 시기 처음 인덱스를 생성할 때 인덱스의 replica 수를 변경할 때 클러스터에 노드가 추가되거나 노드가 클러스...
2023년 10월 8일
·
0개의 댓글·
0
Opensearch - 2
Opensearch의 분산 아키텍처 구성 요소 클러스터 (cluster) 여러 개의 노드가 모인 것 노드 (node) 클러스터를 구성하는 하나의 (JVM) 인스턴스 하나의 머신도 여러 개의 노드로 구성할 수도 있음 availability를 높이기 위해 여러 개의 노드를 구성하기 때문에 보통 하나의 노드는 하나의 머신으로 구성 TCP 통신을 수행 다양한 노드...
2023년 10월 8일
·
0개의 댓글·
0
