Elasticsearch

Elastic Search

Apache Lucene기반 Java오픈소스 분산 검색 엔진으로 실시간 저장, 검색, 분석 가능

Elasticsearch는 텍스트를 파싱해서 검색어 사전을 만든 다음에 inverted index 방식으로 텍스트를 저장

키에 따라 여러 샤드가 구성되는 방식으로 데이터를 분산한다. 인덱스는 각각의 샤드마다 구성된다. 각각의 샤드는 0개 이상의 복제본을 가짐

elasticsearch는 클러스터링을 지원하며 클러스터가 가동될 때 여러 노드 중 하나가 메타데이터 관리를 위한 마스터 노드로 선출

대량의 비정형 데이터 검색 가능하며 전문검색, 구조검색 모두 지원

Transaction Rollback을 지원하지 안함, 데이터의 업데이트를 제공하지 안함(업데이트 명령이 올 경우 기존 문서 삭제 후 새로운 문서 생성)

http 프로토콜로 접근이 가능한 REST API지원 고유 URL로 접근 가능 PUT, POST, GET, DELETE 를 이용해서 자원을 처리

Elasticsearch는 자바로 개발되었기 때문에 자바 실행이 가능한 환경이라면 어디서든 구동이 가능

---

Elastic Search 용어

Relational Database	Elasticsearch
Database	Index
Table	Type
Row	Document
Column	Field
Index	Analyze
Primary key	_id
Schema	Mapping
Physical partition	Shard
Logical partition	Route
Relational	Parent/child, Nested
SQL	Query DSL(Domain Specific Language)

클러스터

• ES에서 가장 큰 시스템 단위 최소 하나 이상의 노드로 이루어짐
• 서로 다른 클러스터는 데이터 접근, 교환을 할 수 없는 독립적 시스템
• 여러 대의 서버가 하나의 클러스터 구성, 한 서버에 여러 개의 클러스터가 존재 할 수 있음

노드(node)

• ES를 구성한는 하나의 단위 프로세스
• 하드웨어 박스로 생각 (한 컴퓨터)
• Master-eligible, Data, Ingest, Tribe 노드로 구분
  • Master-eligible : 클러스터를 제어하는 마스터로 선택할 수 있는 노드
    인덱스 생성, 삭제, 클러스터 노드들의 추적 및 관리, 데이터 입력 시 샤드 할당
  • Data node : 데이터와 관련된 CRUD 작업과 관련, CPU, 메모리 등 자원 소모하므로 모니터링 필요, mater node와 분리되는 것이 좋음
  • Ingest node : 데이터를 변환하는 등 사전 처리 파이프라인 실행
  • Cordination only node : data node, master-eligible node의 일을 대신함, 대규모 클러스터에서 이점이 있음
  
  

인덱스(index) / 샤드(Shard) / 복제(Replica)

• sharding : 데이터를 분산해서 저장, ES에서 scale-out을 위해 index를 여러 shard로 쪼갠것으로 기본적으로 1개, 검색성능 향상을 위해 클러스터의 샤드 갯수 조정하는 튜닝 가능
• replica : 다른 형태의 shard, 노드 손실했을 경우 데이터 신뢰성을 위해 샤드들을 복제, replica는 서로 다른 노드에 존재할 것을 권장

Elasticsearch 아키텍쳐

---

🔍Elastic Search 특징

• Scale out
  • 샤드(Shard)를 통해 규모 수평적으로 늘어날 수 있음
• 고가용성
  • Replica를 통해 데이터의 안정성 보장
• Schema Free
  • Json 문서를 통해 데이터 검색 수행해 스키마 개념이 없음
  • 요청과 응답을 JSON문서로 주고 받고 소스 저장도 JSON , JSON문서 넘겨주면 자동 인덱싱
• Multi-tenancy
  • 하나의 elasticsearch서버에 여러 인덱스를 저장, 여러 인덱스의 데이터를 하나의 쿼리로 검색가능
• 확장성과 유연성
  • 플러그인을 이용해 기능 확장
  • 다만 샤드 수는 인덱스 별로 고정(수정 불가) , 초기에 노드 수와 향우 서버 확장 고려해 할당
• 역색인(inverted index)
  • 문서 내의 문자와 같은 내용물의 맵핑 정보를 색인(단어 별 색인 페이지)
• Restful
  • 데이터 CRUD작업은 HTTP Restful API를 통해 수행

    Data CRUD	Elasticsearch Restful
    SELECT	GET
    INSERT	PUT
    UPDATE	POST
    DELETE	DELETE

Not RESTFul RESTFul

---

🔍ELK == Elastic Search, Logstash, Kibana

ELK Stack은 Elastic Search, Logstash, Kibana를 통칭하는 말인데, 데이터 로그들이 logstash를 거쳐 엘라스틱서치에 저장되고, 이를 시각화하여 Kibana에서 보여준다.

• 장점
  • 강력한 유연성과 호환성
  • 자유스키마(JSON)
  • 확장 가능 DB
  • 데이터처리절차 개별 설정
  • Kibana로 바로 시각화 가능
  • 실시간 데이터 처리
    (메세지 큐와 결합)
• 단점
  • 초기데이터 구성 및 이관문제(현재 무관)
  • 커널변수 불필요한 사용
  • 시간대 일관성이 깨짐(데이터 넘기는 과정)

---

🔍 Logstash

데이터 적재
elasticsearch MySQL 동기화 가능

실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다. logstash 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있다.

다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강 변환 가능

ES + Kibana 시너지와 함께 scale-up 가능

Logstash는 다양한 소스에서 데이터를 수집해 이를 변환하여, 저장소로 전달하는 역할을 한다. 소스의 종류, 사이즈, 형태에 관계 없이 수집할 수 있는 것이 특징적이다. 데이터가 로그 스태시를 거칠 때 필터링이 발생하는데, 필터를 통해 각 이벤트를 공통 형식으로 변환, 통합해줄 수 있다.

---

ES검색 요청 일반적 구조

1. Query step 원하는 조건에 맞는 문서만 필터링하는 단계로, 개념 상 ES 에서는 query phase 에 대응된다.
2. Decision step 필터링 된 문서를 대상으로, 정렬 및 페이징을 진행하여 최종 문서를 결정하는 과정이다.
3. Fetch step 최종 문서의 필드를 가져오고, highlighting 등을 진행하여 최종 결과를 만드는 과정입니다.Decision step + fetch step이 ES 에서는 fetch phase 에 대응된다.

GET [인덱스이름]/_search
{
    "query" : {
    	"match_all" : {}
    },
    "sort": [
    	{
    	"[필드명]": {
        	"order" : "desc" #오름차순: asc, 내림차순: desc
            }
        }
    ]    
}

---

🔍REST API 사용하기_ curl /kibana

🛠️curl

command line data transfer tool, Linux / Unix 계열 및 Windows등 주요 OS에서 구동

데이터 다운로드 업로드 가능, 전송 재개 대역폭 제한, 프록시 지원 사용자 인증 등 옵션 많음

curl명령을 이용해 elasticsearch 클러스터의 최상위 경로 호출 —> 클러스터 정보 json형식 return
jdbc 가 필요하지 않다.
curl [options][URL...] 이런식으로 작성

$ curl -XGET "http://localhost:9200"
{
  "name" : "DESKTOP",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "________________",
  "version" : {
    "number" : "7.17.7",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "______________________________",
    "build_date" : "2022-10-______________________",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

---