ElasticSearch
1.[ElasticSearch] Elastic Stack
Elastic Stack (ELK stack) 은 Elastic Search, Logstash, Kibana, Beats)를 묶어서 이르는 말이다. 각 컴포넌트 별로 대략적인 역할은 다음과 같다. Elastic Search : 로그 저장 및 검색Logstash : 데이
2.[ElasticSearch] ES 시스템 구조
ES에서 단일 데이터 단위를 도큐먼트(document)라고 하며 이 도큐먼트를 모아놓은 집합을 인덱스(index)라고 한다. 인덱스는 기본적으로 샤드(shard) 단위로 분리되고 각 노드에 분산되어 저장된다. 처음 생성된 샤드는 프라이머리 샤드, 복제본은 레플리카라고
3.[ElasticSearch] ES 데이터 처리
ES는 REST API를 지원한다. 자원별로 고유 URL 접근을 하고 http 메서드 PUT, POST, GET, DELETE를 이용해서 RESTful한 시스템을 지원한다. 예시는 다음과 같다.입력 : PUT http://user.com/kim -d {"nam
4.[ElasticSearch] 검색과 쿼리 (QueryDSL) - 1
match_all은 별다른 조건 없이 해당 인덱스의 모든 도큐먼트를 검색하는 쿼리이다.검색시 쿼리를 넣지 않으면 자동으로 match_all이 적용된다. match는 풀 텍스트 검색에 사용되는 가장 일반적인 쿼리이다. match 필드에 여러 검색어를 띄어쓰기로 입력하면
5.[ElasticSearch] 검색과 쿼리 (QueryDSL) - 2
4. Bool - should bool 쿼리의 should는 검색 점수를 조정하기 위해 사용한다. 만약 match 쿼리로 fox를 포함하고 있는 도큐먼트를 찾고 싶은데 이 결과들 중 lazy가 포함된 결과에 가중치를 줘서 상위로 올리고 싶다면 다음과 같이 작성이 가능하
6.[ElasticSearch] 데이터 색인과 텍스트 분석 - 1
이는 Like 검색 방식인데 데이터가 늘어날수록 검색해야할 대상으 늘어 시간이 오래 걸리고 row 내용을 모두 읽어야 하기 때문에 매우 느리다. ES에서는 이러한 전문검색을 효율적으로하기 위해 위 데이터를 다음과 같이 역 인덱스 방식으로 만들어 저장한다. ES에서는 추
7.[ElasticSearch] 데이터 색인과 텍스트 분석 - 2
캐릭터 필터는 애널라이저에서 가장 먼저 처리되는 과정으로 토크나이저에 의해 텀으로 분리되기 전에 전체 문장에 대해 적용되는 일종의 전처리 도구이다. 7.0 버전 기준으로 캐릭터 필터는 HTML Strip, Mapping, Pattern Replace 3개가 존재한다.
8.[ElasticSearch] 집계 (Aggregations)
ES는 검색엔진으로 개발되었지만 지금은 로그분석을 비롯한 다목적 데이터 시스템으로 사용되고 있다.