ES 구성
- 인텍스
- 단일 데이터 단위가 document
- document의 집합이 인덱스
- ES에 저장하는것을 인덱싱
- 인덱스 명으로 문서를 검색
- 분산환경에서 인덱스는 여러 노드에 분산되어 저장됨
- 샤드
- 샤드를 통해 데이터 안전성을 높임
- 인덱스의 저장단위
- 노드에 분산되어 저장
- 타입
- 인덱스의 놀리적 구조
- 7.0버전 부터는 인덱스당 하나의 타입을 제공
- index == type
- 문서
- 문서는 데이터가 저장되는 최소단위
- 한 문서는 다수의 필드로 구성됨
- nested구조를 지워한다
- 필드
- 문서를 구성하는 속성
- column과 비슷한 개념
- 한 필드는 여러 데이터 타임을 가질 수 있다
- ex) keywork, text
- 매핑
- 데이터의 저장형태와 검색을 위해 데이터를 어떻게 접근하고 처리할지..
- 문서의 필드와 필드의 속성을 정의, 인덱싱 방법을 정의
- 인덱스 매핑에서는 여러 데이터 타입 지정이 가능하지만 필드명은 중복 불가
- 샤드
- 인덱스가 저장되는 단위
- 인덱스는 하나 이상의 샤드로 저장
- 인덱스는 샤드 단위로 분리, 데이터를 분산해 저장
- 각 노드의 샤드에는 프라이머리 샤드와 레플리카 샤드가 존재
- 장애상황에 대비를 위해 샤드의 복제본을 갖고 있음
- 노드 1번장애
- 노드1에 있는 프라이머리 샤드1을 사용x
- 노드0에서 기존에 갖고있던 레플리카 샤드1을 프라이머리로 승격시킴
- 노드 1번이 복구되지 않는경우
- 설정된 레플리카 샤드 수대로 각 샤드의 복제를 수행
- 운영중에 노드가 다운되어도 데이터 유실없이 가용성을 유지
Data Analytics Engineer