# elasticsearch

720개의 포스트

Elasticsearch to DB

회사에서 프로젝트를 진행하던 중....

4일 전
·
0개의 댓글
·
post-thumbnail

Spring boot elasticsearch 연동(local)

구성 build.gradle ElasticSearch Config 작성 엔터티(도큐먼트) 구성 repository 구성 Service 구성 해당 코드들은 실제로 사용되는 코드는 아니고 elasticsearch에 대한 이해를 위해 간단하게 구성된 코드입니다.

6일 전
·
0개의 댓글
·

linux elasticsearch 설치

리눅스에 elasticsearch를 설치 및 구동하는 방법에 대해 정리해 보았다.

2023년 11월 30일
·
0개의 댓글
·

PostgreSQL, Milvus, Elasticsearch에서 특정 데이터만 제거하기

Table/Index 내 특정 데이터 제거하는 법.

2023년 11월 30일
·
0개의 댓글
·
post-thumbnail

Elastic Cloud의 Snapshot 기능을 이용하여 AWS S3로 마이그레이션 하기

대학교 별 aws 강의 멘토로 다니면서 데이터를 어떻게 보관할지에 대해 고민이 되었는데 엘라스틱 클라우드에 있는 데이터들을 자사 aws s3에 저장하기로 하였다. 오늘은 그 방법에 대해 알아보고자 한다. elasticsearch에서는 스냅샷을 찍어 인덱스를 저장하는

2023년 11월 29일
·
0개의 댓글
·

[DB] Elastic Search (2) - 색인,검색 과정

색인이란?문서를 분석하고 저장하는 전체의 과정을 색인이라고 정의 합니다.색인과정전체적인 색인 과정을 그림을 통해 알아보겠습니다.(앞에 기본 개념에 대해 글을 읽고 왔다면 조금 더 이해하기 쉬울 것 입니다)색인에서, 중요하게 봐야 할 것은 다음과 같습니다.프라이머리 샤드

2023년 11월 28일
·
0개의 댓글
·

Elasticsearch 클러스터 설계 #1 검색 성능과 샤드 개수

ES의 클러스터를 설계하기 위해 적정한 샤드의 개수와 노드의 개수를 선정하는 방법에 대해 정리한다.해당 방식은 당근페이 개발자 이신 - 강진우님의 블로거를 보고 그대로 정리한다\[클러스터 설계하기 - Elasticsearch의 검색은 1 쿼리(Query) 1 샤드(Sh

2023년 11월 24일
·
0개의 댓글
·
post-thumbnail

[DB] Elastic Search (1) - 기본 개념

루씬 기반의 오픈소스 검색 엔진Json 기반의 문서를 저장하고 검색할 수 있으며 분석 작업도 가능합니다.1 준실시간 검색 시스템색인된 데이터가 빠르게 검색 가능합니다.refresh-interval (설정에 따라) 색인이 되고 언제부터 검색이 되는지 결정 가능하게 합니다

2023년 11월 23일
·
0개의 댓글
·

Elasticsearch Log-Cluster ILM

데이터의 수명 주기를 관리하고 정의하는 기능, 이를 사용하면 데이터를 적절한 시점에 생성, 업데이트, 삭제하고, 디스크 공간을 효과적으로 활용이 가능. 주로 로그 데이터와 같이 시간이 지남에 따라 더 이상 필요하지 않는 데이터를 자동으로 삭제하는 데 사용.Hot Pha

2023년 11월 23일
·
0개의 댓글
·

검색결과 순위 상위 노출하기

사내 프로젝트로 검색엔진 구축 진행 중에 있다.검색시 검색결과의 순서를 조정하는 방법을 고심하던 중 python elasticsearch client를 사용하여 검색결과의 순위를 상위로 고정해보자.검색어가 Boost_index(검색 순위 상위 고정 할 정보를 담은 인덱

2023년 11월 15일
·
0개의 댓글
·

Filter aggregation

Filter를 이용해 원하는 document로 집계를 수행할 수 있다. 단일 필터 type이 t-shirt인 문서를 찾아 price의 평균을 구한다. 다중 필터 다중 필터를 이용해 집계를 수행할 수 있다.

2023년 11월 15일
·
0개의 댓글
·
post-thumbnail

ELK 도입기(4) - 공공데이터 크롤링 및 저장 feat 중부좌표계

식당에 대한 정보를 수집하기 위해 공공데이터를 이용하는 과정 중 발생한 문제점 및 해결방법을 기록하고자 글을 작성하였다. 우리가 필요한 정보는 전국의 식당 정보(이름, 도로명 주소, 위경도, 전화번호)였다. 그 중에서도 식당을 지도상에서 보여주기 위해 이름과 위경도는

2023년 11월 8일
·
0개의 댓글
·
post-thumbnail

ELK 도입기(3) - Elasticsearch Spring 연동

식당에 대한 정보를 수집하기 위해 공공데이터를 이용하는 과정 중 발생한 문제점 및 해결방법을 기록하고자 글을 작성하였다. 우리가 필요한 정보는 전국의 식당 정보(이름, 도로명 주소, 위경도, 전화번호)였다. 그 중에서도 식당을 지도상에서 보여주기 위해 이름과 위경도는

2023년 11월 5일
·
0개의 댓글
·

기존 매핑 필드 타입 변경하기 (reindex 활용)

기존 매핑 필드의 타입을 변경할 경우 대처 방법

2023년 11월 3일
·
0개의 댓글
·
post-thumbnail

ELK 도입기 (2) - 보안설정

Elasticsearch와 Kibana를 중요한 데이터를 저장하고 시각화하는 데에 사용하므로 보안설정을 해주어야 한다. 누구나 액세스 할 수 있다면 문제가 생길 것이다. 그래서 보안설정을 안하면 Kibana에서 경고 메시지를 계속 띄우기도 한다.

2023년 11월 2일
·
0개의 댓글
·
post-thumbnail

Elastic 검색을 위한 수집 파이프라인 최적화 -1

elastic 비전공자 교육을 맡게 되면서 나도 elastic stack에 대해 놓치고 있는 부분이 많아 기초부터 다시 한번 다져보려고 한다. 또한 다시 공부하면서 공부 내용을 정리하여 앞으로 꾸준하게 elastic 공부 기록을 남기고자 한다. 우선 처음으로 작성할 게

2023년 11월 1일
·
0개의 댓글
·

중복 제거 (DISTINCT Count) 집계 (cardinality vs scripted_metric)

엘라스틱 서치 중복 제거를 위한 내용 설명입니다.

2023년 11월 1일
·
0개의 댓글
·
post-thumbnail

ELK 도입기 (1) - 설치

프로젝트에서 검색엔진으로 ElasticSearch, 로그 수집용으로 ELK stack을 도입하기로 하였다. EC2 ubuntu 서버에 ELK를 Docker 컨테이너로 띄우는 방법을 알아보자.

2023년 10월 30일
·
0개의 댓글
·

Elasticsearch RRF(Reciprocal Rank Fusion)

상호 순위 융합 | Elasticsearch 가이드 \[8.10]\[NLP]. Reciprocal rank fusion (RRF) 이해하기관련성이 다른 여러 결과 집합을 결합하는 방식. 지표를 단일 결과 집합으로 변환. RRF는 튜닝이 필요하지 않으며 다른 관련성 지표

2023년 10월 26일
·
0개의 댓글
·
post-thumbnail

MSA - 소모임 project 검색기능 도입기

MSA - 소모임 project 검색기능 도입기

2023년 10월 25일
·
0개의 댓글
·