[ElasticSearch] 샤딩

샤드란?

각 샤드는 루씬 인덱스이며, 이는 Elasticsearch 클러스터 내에 인덱싱을 하거나 데이터 일부를 조회하기 위한 독립적인 검색 엔진으로 생각하실 수 있습니다.

샤딩

• 단일의 데이터를 다수의 데이터 베이스로 쪼개어 나누는 것을 의미
• 단일의 데이터 베이스에서 저장하기 너무 클 때 사용
• 데이터를 구간별로 쪼개어 나눔으로써 노드에 무겁게 가지고 있던 데이터를 빠르게 검증할 수 있어 빠른 트랜잭션 속드를 가질 수 있게 됨
• 샤드란 샤딩을 통해 나누어진 블록들의 구간을 샤드라 함 (각각의 샤드는 데이터의 복사본이 아니라 데이터 그 자체)
• Elasticsearch는 분산 데이터베이스(분산 검색엔진)이기때문에 이렇게 데이터를 나누어 저장하는 방식으로 대용량 데이터에 대한 분산처리를 가능하게 함

elasticsearch는 분산 검색 엔진이므로이 방법으로 여러 노드/시스템을 사용하여 대량의 데이터를 관리 할 수 있습니다.

status yellow primary 당 1개의 replica 존재 한다. 하지만 같은 노드에 primary와 replica가 존재하면 안되는데 같은 노드에 존재하면(노드가 한개라서) status yellow

⇒ replica를 갖지 않도록 변경하면 status green

샤드개수 정하기

샤드변경은 불가하며 리인덱스로 재생성해야함

클러스터에 존재하는 모든 샤드는 마스터노드에서 관리된다. 따라서 샤드가 많아질 수록 마스터 노드의 부하도 증가한다. 마스터 노드의 부하로 인해 색인과 검색 작업이 느려질 수도 있고, 메모리 문제를 일으킬 가능성도 커질 수 있다. 하지만 너무 커도 문제다. 장애 발생 시 샤드 단위로 데이터가 이동하기 때문에 샤드의 크기가 너무 크면 복구 작업에 부정적인 영향을 미칠 수 있다.

엘라스틱 서치에서는 샤드 1개가 50GB를 넘지 않도록 권장한다.

• 레플리카가 많아질 수록 색인 성능은 떨어지고, 읽기 성능은 좋아진다.
• 반대로 레플리카가 적으면 색인 성능은 좋지만, 읽기 성능은 떨어진다.

샤드는 노드의 힙메모리에 부하를 증가시켜 크기는 수기가에서 50기가까지가 적당 그래서 너무 많은 수의 샤드는 부하가 올수있음

힙 1기가당 20개의 샤드가 가능하지만 그 이하가 적당

빠른색인 = 인덱스를 나누기