조사 계기

• 사내 한 프로젝트의 요건 중 형태소 분석이 적용된 검색 기능이 필요하여, 구현 기술로 활용하기 위해 조사

Elastic Search란

• = 검색 및 분석 엔진 (Apache Lucene 에 기반함)
  • Apache Lucene
    • = 역색인 구조 기반의 검색 라이브러리 using Java (오늘날 모든 검색엔진의 시초)

특징

• 분산처리를 통해 실시간성으로 빠른 검색이 가능
• NoSQL의 일종으로 분류할 수 있음
  • 검색엔진이지만 대용량 스토리지로도 활용이 가능하다 (like MongoDB, Hbase)

라이센스: ELv2(Elastic License 2)로 사용 가능

• Elastic License가 적용됨 (현 최신 버전인 8.14.3 기준)
  
• Elastic License
  
• 중요한 부분
  
• Reference
  https://www.elastic.co/kr/pricing/faq/licensing
  

장단점

• 장점
  • 오픈소스 검색엔진 (커뮤니티 활발, 끊임없는 개선)
  • 전문검색 - 내용전체를 색인해서 특정 단어가 포함된 문서를 검색할 수 있음
    • 기능/언어 별 플러그인 적용 가능
  • Kibana와 연계해 통계분석에 활용가능
  • 정형화되지 않은 문서도 자동으로 색인하고 검색할 수 있음
  • Restful API에 기반하여 개발언어, 운영체제, 시스템에 독립적으로 다양한 플랫폼에서 활용 가능
  • 분산구성이 가능함 (분산환경에서의 데이터 단위: shard)
• 단점
  • Transaction Rollback 미지원
  • 색인되 데이터는 1초 뒤에나 검색 가능 (완전한 실시간성을 보장하지는 못함)
  • 데이터의 업데이트를 제공하지 않음 (업데이트 시 실질적으로 삭제후 재생성 됨)
    • 비용은 많이 드나, 불변성이라는 이점을 취함

작동

• JSON document 형식의 데이터를 API를 사용해 Elastic Search로 전송할 수 있음
• ES는 document를 저장하고 클러스터의 인덱스에 문서에 대한 검색 가능한 참조를 추가
• ES API(Rest API로 제공)를 사용해서 문서를 검색하고 조회할 수 있음 (쿼리 대신 api 를 사용)
• 시각화 도구인 Kibana를 함께 사용해 데이터를 시각화하고 대시보드를 구축할 수 있음
• ES HTTP Method vs RDBMS SQL
  

기본 용어

• ES와 RDBMS
  

• 용어 정리
  • Index: 데이터 저장 공간
    • 노드와 인덱스는 M:N
      • 하나의 물리노드에 여러개 논리 인덱스 생성 가능
      • 여러 물리노드에 하나의 인덱스가 분산저장 가능
  • Shard: 색인된 문서는 하나의 인덱스에 저장되고, 인덱스 내부에 색인된 데이터는 여러개의 파티션(=샤드) 로 나뉘어 저장됨
    
  • Type: 인덱스의 논리적 구조 단위 (like Table)
    • version 6.1부터 인덱스 당 하나의 타입만 설정 가능
  • Document: 데이터가 저장되는 최소 단위 (like Row). JSON 포맷으로 저장
  • Field: 문서를 구성하기 위한 속성 (like column). 하나의 필드는 목적에 따라 다수의 데이터타입을 가질 수 있음
  • Mapping: 문서의 필드, 필드 속성을 정의하고 그에 따른 색인 방법을 정의함 (like schema)

구성

Node Types

• 노드들은 클러스터를 구성함
• Master Node: 클러스터 관리, 노드 추가/제거 관리
• Data Node: 실질적인 데이터 저장.
  • 데이터가 실제로 분산저장되는 물리공간인 샤드가 배치됨
  • 검색과 통계 등 데이터 관련 작업 수행
• Coordinating Node
  • 사용자의 요청만 받아서 분배
  • 클러스터 관련 요청은 마스터노드, 데이터 관련 요청은 데이터노드로 전달
• Ingest Node
  • 문서의 전처리 담당
  • 인덱스 생성 전 문서의 형식을 다양하게 변경할 수 있음

Cluster, Node, Shard

• 클러스터: 1개 이상의 노드로 이루어진 ES의 기본 단위

  • 하나의 ES 클러스터는 인덱스의 문서 조회 요청을 받으면, 마스터노드를 통해 필요한 데이터 노드에서 데이터를 모두 조회한 뒤, 데이터를 취합하여 하나의 결과로 제공한다.
  • 여러 개의 클러스터를 연결해서 구성하는 것도 가능함.
  • 클러스터 내 노드는 실시간 추가, 제거가 가능함.

• 인덱스마다 샤드로 나뉘어지고, 각 샤드 별로 레클리카가 생성된다.

  • 이때 생성된 레클리카는 primary와 다른 노드에 저장된다. (for 고가용성)

  • 레플리카: 각 샤드의 복제본 (for 고가용성)

  • 예시

    • 인덱스 별로 샤드가 2개고 레클리카가 1개로 설정

      {
          "settings" : {
              "index" : {
                  "number_of_shards" : 2,
                  "number_of_replicas" : 1
              }
          }
      }

    • 위의 설정값이 서버에 적용되면 아래 형태가 됨
      

      • 인덱스 a는 샤드가 2개(a0, a1), 각 샤드의 레플리카는 1개씩 생성되어 있다
      • 인덱스 b는 샤드가 3개(b0, b1, b2), 각 샤드의 레플리카는 1개씩 생성되어 있다

References

https://aws.amazon.com/ko/what-is/elasticsearch/

https://jaemunbro.medium.com/elastic-search-기초-스터디-ff01870094f0