데이터엔지니어링2

분산 시스템 개요

open search 환경구축 및 CRUD, 텍스트분석, 역인덱싱

Opensearch의 분산 아키텍처 구성 요소 클러스터 (cluster) 여러 개의 노드가 모인 것 노드 (node) 클러스터를 구성하는 하나의 (JVM) 인스턴스 하나의 머신도 여러 개의 노드로 구성할 수도 있음 availability를 높이기 위해 여러 개의 노드를 구성하기 때문에 보통 하나의 노드는 하나의 머신으로 구성 TCP 통신을 수행 다양한 노드...

샤드 할당(Shard Allocation)과 재배치(Rerouting) 샤드할당 : 노드에 샤드를 할당하는 것 클러스터 매니저는 어떤 샤드를 어떤 노드에 할당하고, 언제 노드 간에 샤드 이동이 필요한지 결정 샤드 할당 발생 시기 처음 인덱스를 생성할 때 인덱스의 replica 수를 변경할 때 클러스터에 노드가 추가되거나 노드가 클러스...