Elasticsearch

Elasticsearch는 오픈소스 검색엔진으로 간단한 REST API, 분산형 특징, 속도, 확장성으로 유명하다.

ELK Stack

일반적인 데이터 분석 과정은 웹과 시스템 로그 데이터를 만든 뒤, 로그를 수집하고 저장 및 전처리, 분석과 시각화를 차례대로 진행된다.

ELK스택에서 로그 집계에는 Logstash를 검색에는 Elasticsearch를 데이터를 시각화하고 분석하는 Kibana를 사용하여 데이터 색인, 검색 및 분석을 위한 강력한 플랫폼을 제공한다.

• Elasticsearch
  모든 데이터를 색인(indexing)하여 저장하고 검색, 집계 등을 수행하며 결과를 클라이언트 또는 다른 프로그램으로 전달하여 동작하게 한다.
  실시간 분석(NRT)Elasticsearch의 가장 큰 특징 중 하나로, elasticsearch 클러스터가 실행되고 있는 동안에는 계속해서 데이터가 입력 - 색인(indexing)되고,
  동시에 실시간에 가까운 속도(Near Real-Time)로 색인된 데이터의 검색, 집계가 가능하다.

• Logstash
  Beats, RDBMS 등 다양한 데이터 저장소로부터 데이터를 입력 받고, Elasticsearch, Email, Kafka와 같은 다양한 데이터 저장소로 데이터를 전송하는 역할을 한다.
  Logstash는 원래 Elasticsearch와 별개로 다양한 데이터 수집과 저장을 위해 개발된 프로젝트였다. 기존의 Elasticsearch는 데이터의 색인, 검색 기능만을 제공했으나 Logstash가 Elasticsearch의 입력수단으로 사용되기 시작하면서 통합되었다.

• Kibana
  Elasticsearch전용 dbeaver역할을 한다고 할 수 있는데,
  Kibana는 검색과 Aggregation의 집계 기능을 이용해 Elasticsearch로 부터 문서, 집계 결과 등을 불러와 웹 도구로 시각화 및 모니터링을 한다.