[#1] Elasticsearch 개요

devplaypark·2022년 7월 7일
0

elasticsearch

목록 보기
1/1
  • Elasticsearch는 Elastic Stack의 구성 중 하나이며, Apache Lucene 기반의 검색엔진 이다.
  • Lucene은 오픈 소스 검색 엔진으로 확장 가능하다. Elasticsearch에서 Lucene 인덱스를 수평 확장할 수 있다.

Elasticsearch -> ES로 줄임

  • ES안의 각 샤드는 문서의 단일 Lucene 역색인이다. 따라서 모든 샤드가 Lucene 인스턴스이다.

  • but, ES는 클러스터로 각 샤드들을 묶어서 운영하며 이로 인해 빠른 검색과 저장이 가능하다. (장점)

  • ES는 Lucene 오픈 소스 검색 구조의 확장 가능한 버전으로 시작됐고, Lucene 인덱스를 수평 확장할 수 있는 기능이 추가되었음

  • Elasticsearch 안의 각 샤드는 문서의 단일 Lucene 역색인이며, 따라서 모든 샤드가 Lucene 인스턴스인 것입니다 하지만 elasticsearch는 클러스터에 흩어져 있는 Lucene 그 이상의 장점을 가짐.

  • 전체 텍스트 검색보다 훨씬 더 많은 것을 처리할 수 있으며 구조 데이터 및 집계 데이터를 매우 빠르게 처리할 수 있습니다

  • 단순히 검색을 위한 것이 아닌 모든 유형의 구조 데이터를 처리합니다 (ex)로그 집계 등

  • 표면적으로는 화려한 UI나 그래픽 인터페이스가 아닌 JSON 요청을 처리. ES 자체는 JSON 요청을 처리하고 JSON 데이터를 반환하는 서버

  • Elastic Stack 내에는 Elasticsearch 외에도 보기 편한 UI를 제공하는 Kibana가 있음

따라서 여러분만의 애플리케이션을 Elasticsearch 또는 여러분의 웹 어플리케이션을 기반으로 구축하지 않으면 Kibana를 사용해 검색하거나 검색 인덱스를 그래픽으로 시각화할 수 있습니다.

또한 Kibana는 매우 복잡한 데이터 집계 데이터 그래프와 차트 작성,로그 분석 등에 자주 사용됩니다 따라서 구글 분석(Google Analytics)와 같은 작업을 자주 사용한다면, Elasticsearch와 Kibana의 조합을 사용해 대규모 구글 분석을 사용할 수 있다.

  • Elastic Stack의 또 다른 구성인 Beats는 FileBeats, MetricBeats 등등이 있음.

  • Elastic Stack의 또 다른 구성인 Logstash라는 도구를 사용해 Elasticsearch에 데이터를 실시간 스트리밍 형식으로 게시할 수 있습니다. (ex) 시간이 지남에 따라 검색 인덱스에 자동으로 입력하려는 웹 서버 로그가 있다면 FileBeat으로 웹 서버에서 새로운 로그 파일을 찾아 구문 분석하고 Elasticsearch에서 요구하는 방식으로 구조화해 들어오는 Elasticsearch 클러스터에 넣을 수 있습니다 Logstash도 거의 같은 역할을 합니다.

  • 여러분의 서버와 Elasticsearch 사이에서 데이터를 푸시하는 데 사용할 수 있지만, 대부분의 경우 중간 단계로 사용됩니다. 용량이 적은 FileBeat 클라이언트를 웹 서버에 배치하고 Logstash로 데이터를 수집해 시간이 지남에 따라 데이터를 Elasticsearch로 보낼 수 있습니다

로그 파일이나 Elasticsearch, 웹 서버에만 사용이 제한되지 않고서로 다른 시스템을 연결하고 데이터를 이동할 수 있는 시스템입니다. Elasticsearch 혹은 Elastic stack 내 다른 곳일 수도 있어요. Amazon S3, Kafka, 또는 여러분이 상상하실 수 있는 대부분의 데이터베이스에서 데이터를 수집할 수도 있습니다 해당 강좌의 뒷부분에서 이러한 예를 더 자세히 살펴보겠습니다

마지막으로, X-pack입니다 X-pack은 'elastic.co'에서 제공하는 유료 추가 기능으로 보안 및 알림 모니터링과 보고 기능 등이 있습니다. 또한 Elasticsearch에 이제 나타나기 시작한 몇 가지 고급 기능을 포함하고 있습니다. 머신러닝 및 그래프 탐색 같은 기능입니다.

profile
devplaypark

0개의 댓글