# elasticsearch
Spring boot elasticsearch 연동(local)
구성 build.gradle ElasticSearch Config 작성 엔터티(도큐먼트) 구성 repository 구성 Service 구성 해당 코드들은 실제로 사용되는 코드는 아니고 elasticsearch에 대한 이해를 위해 간단하게 구성된 코드입니다.
Elastic Cloud의 Snapshot 기능을 이용하여 AWS S3로 마이그레이션 하기
대학교 별 aws 강의 멘토로 다니면서 데이터를 어떻게 보관할지에 대해 고민이 되었는데 엘라스틱 클라우드에 있는 데이터들을 자사 aws s3에 저장하기로 하였다. 오늘은 그 방법에 대해 알아보고자 한다. elasticsearch에서는 스냅샷을 찍어 인덱스를 저장하는
[DB] Elastic Search (2) - 색인,검색 과정
색인이란?문서를 분석하고 저장하는 전체의 과정을 색인이라고 정의 합니다.색인과정전체적인 색인 과정을 그림을 통해 알아보겠습니다.(앞에 기본 개념에 대해 글을 읽고 왔다면 조금 더 이해하기 쉬울 것 입니다)색인에서, 중요하게 봐야 할 것은 다음과 같습니다.프라이머리 샤드
Elasticsearch 클러스터 설계 #1 검색 성능과 샤드 개수
ES의 클러스터를 설계하기 위해 적정한 샤드의 개수와 노드의 개수를 선정하는 방법에 대해 정리한다.해당 방식은 당근페이 개발자 이신 - 강진우님의 블로거를 보고 그대로 정리한다\[클러스터 설계하기 - Elasticsearch의 검색은 1 쿼리(Query) 1 샤드(Sh
[DB] Elastic Search (1) - 기본 개념
루씬 기반의 오픈소스 검색 엔진Json 기반의 문서를 저장하고 검색할 수 있으며 분석 작업도 가능합니다.1 준실시간 검색 시스템색인된 데이터가 빠르게 검색 가능합니다.refresh-interval (설정에 따라) 색인이 되고 언제부터 검색이 되는지 결정 가능하게 합니다
Elasticsearch Log-Cluster ILM
데이터의 수명 주기를 관리하고 정의하는 기능, 이를 사용하면 데이터를 적절한 시점에 생성, 업데이트, 삭제하고, 디스크 공간을 효과적으로 활용이 가능. 주로 로그 데이터와 같이 시간이 지남에 따라 더 이상 필요하지 않는 데이터를 자동으로 삭제하는 데 사용.Hot Pha
검색결과 순위 상위 노출하기
사내 프로젝트로 검색엔진 구축 진행 중에 있다.검색시 검색결과의 순서를 조정하는 방법을 고심하던 중 python elasticsearch client를 사용하여 검색결과의 순위를 상위로 고정해보자.검색어가 Boost_index(검색 순위 상위 고정 할 정보를 담은 인덱
Filter aggregation
Filter를 이용해 원하는 document로 집계를 수행할 수 있다. 단일 필터 type이 t-shirt인 문서를 찾아 price의 평균을 구한다. 다중 필터 다중 필터를 이용해 집계를 수행할 수 있다.
ELK 도입기(4) - 공공데이터 크롤링 및 저장 feat 중부좌표계
식당에 대한 정보를 수집하기 위해 공공데이터를 이용하는 과정 중 발생한 문제점 및 해결방법을 기록하고자 글을 작성하였다. 우리가 필요한 정보는 전국의 식당 정보(이름, 도로명 주소, 위경도, 전화번호)였다. 그 중에서도 식당을 지도상에서 보여주기 위해 이름과 위경도는
ELK 도입기(3) - Elasticsearch Spring 연동
식당에 대한 정보를 수집하기 위해 공공데이터를 이용하는 과정 중 발생한 문제점 및 해결방법을 기록하고자 글을 작성하였다. 우리가 필요한 정보는 전국의 식당 정보(이름, 도로명 주소, 위경도, 전화번호)였다. 그 중에서도 식당을 지도상에서 보여주기 위해 이름과 위경도는
ELK 도입기 (2) - 보안설정
Elasticsearch와 Kibana를 중요한 데이터를 저장하고 시각화하는 데에 사용하므로 보안설정을 해주어야 한다. 누구나 액세스 할 수 있다면 문제가 생길 것이다. 그래서 보안설정을 안하면 Kibana에서 경고 메시지를 계속 띄우기도 한다.
Elastic 검색을 위한 수집 파이프라인 최적화 -1
elastic 비전공자 교육을 맡게 되면서 나도 elastic stack에 대해 놓치고 있는 부분이 많아 기초부터 다시 한번 다져보려고 한다. 또한 다시 공부하면서 공부 내용을 정리하여 앞으로 꾸준하게 elastic 공부 기록을 남기고자 한다. 우선 처음으로 작성할 게
중복 제거 (DISTINCT Count) 집계 (cardinality vs scripted_metric)
엘라스틱 서치 중복 제거를 위한 내용 설명입니다.
ELK 도입기 (1) - 설치
프로젝트에서 검색엔진으로 ElasticSearch, 로그 수집용으로 ELK stack을 도입하기로 하였다. EC2 ubuntu 서버에 ELK를 Docker 컨테이너로 띄우는 방법을 알아보자.
Elasticsearch RRF(Reciprocal Rank Fusion)
상호 순위 융합 | Elasticsearch 가이드 \[8.10]\[NLP]. Reciprocal rank fusion (RRF) 이해하기관련성이 다른 여러 결과 집합을 결합하는 방식. 지표를 단일 결과 집합으로 변환. RRF는 튜닝이 필요하지 않으며 다른 관련성 지표
