ElasticSearch

index, document 기본, 생성, 조회, 삭제

명시적 매핑, 다이나믹 매핑, 문자열 타입, 분석기

컨텍스트, Uri Search/QueryDSL, TF-IDF, BM25

source (복사 대상) index 는 enabled 상태여야한다 source 에 대한 read 권한, _dest 에 대한 write 권한 필요 ※ 대상 index 는 미리 생성해두어야함 mapping, shard, replicas 정보는 복사되지 않음

cluster state nodes pending tasks

쿼리 종류 leaf query 특정 field 에서 term 을 찾는 쿼리 match, term, range 쿼리 등 compound query 복합 쿼리 : 쿼리를 조합해 사용하는 쿼리 bool(논리) 쿼리 등 full text query 전문 쿼리 : 전문

\_delete_by_query API 를 통해 HTTP status 429 발생하며 삭제되지 않는 현상해당 index는 rolling 처리가 되어있지 않았다.시험 당시 document 약 2억개, datanode 3개, 각 노드 heap 256MB저사양인 리소스 대비

수명주기는 5단계 ** hot, warm, cold, frozen, delete 인덱스 템플릿을 생성할 때 데이터 생명주기 결정 가능 ** kibana 를 통해서도 설정 가능 인덱스 alias을 사용하여 ILM에서 시계열 인덱스의 롤오버 및 관리를 자동화 ** 수명

ILM 을 이용한 index rollover 자동화하기

\_cluster/settings 에 대해, cluster.routing.allocation.exclude.\_ip 로 제외할 node 의 ip 를 지정해당 IP의 node에서 다른 node 로 데이터 이전이 일어난다.데이터 이전 완료 후 해당 node 종료시 안전하게

ElasticSearch 에서 OOM 발생을 방지하기 위해 사용하는 Circuit breaker 에 대한 정리

논리 쿼리, 패턴 검색

메트릭 집계, 버킷 집계

analyzer analyzer : index time 에 사용 search_analyzer : non-phase 쿼리에 사용 searchquoteanalyzer : phase 쿼리에 사용 ex) searchquoteanalyzer 가 적용 lowercase,

fuzzy query 또는 fuzziness option 으로 유사한 값을 검색하기. Levenshtein edit distance 로 유사도 계산

curl 로 ElasticSearch 사용자, 패스워드로 인증하기

ElasticSearch ILM 을 통해 index 에 alias 를 거는 방법 외에, 직접 alias API 를 통해 index alias 를 생성하는 방법

relevance 튜닝은 Weights 과 Boosts 2가지로 구분. weights 은 여러 필드에 대해 검색시, 필드 간의 가중치를 부여, boosts 는 필드 값에 따라 부스트

rank_feature 필드와 rank_feature query 사용법

필드의 값을 다른 필드에 복사하여, 개별 필드로서 검색 가능하도록 하는 기능

function_score query 에서 사용하는 감쇠 함수

포함되면 스코어를 높게 주고 싶고, 포함되지 않아도 long-tail 로 처리되도록 하고 싶을 때 유용query 에서 filter 를 적용할 시 매칭되지 않는 document 는 검색이 되지 않으므로, function_score 쿼리의 functions 에서 filte

boosting : positive query 로 매칭되는 문서에 대해, negative query 로 관련성 relevance score 을 낮추는 형태의 쿼리. 문서 자체를 제외하지 않고 검색 랭킹만 낮출 수 있다.

여러 필드에 대해서 match 검색한다. best_fields, most_fields, cross_fields, phrase, phrase_prefix, bool_prefix 등.

OpenSearch 에서 k-NN 검색하는 3가지 방식. Approximate k-NN, Script score k-NN, Painless extensions

prefix, match_phrase_prefix 쿼리에 대한 정리

match_phrase_prefix 쿼리, match_bool_prefix 쿼리 비교

snapshot, restore 로 데이터 백업, 복구하기