Elastic Search
Elastic Search는 Apache Lucene(아파치 루씬) 기반의 java 오픈소스 분산 검색 엔진입니다.
Elastic Search를 통해 루씬 라이브러리를 단독으로 사용할 수 있데 되었으며, 방대한 양의 데이터를 신속하게, 거의 실시간으로 저장, 검색, 분석할 수 있습니다.
ELK
ELK는 그림과 같이, 분석 및 저장기능을 담당하는 ElasticSearch , 수집 기능을 하는 Logstash, 이를 시각화 하는 도구인 Kibana의 앞그라만 딴 단어입니다. ELK는 접근성과 용이성이 좋아 최근 가장 핫한 Log 및 데이터 분석 도구입니다.
Logstash
- 다양한 소스의 로그(데이터베이스) 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 ElasticSearch로 전달합니다
ElasticSearch
- Logstash로 부터 받은 데이터를 검색 및 집계를 하여 필요한 관심 있는 정보를 획득합니다
Kibana
- Elasticsearch의 빠른 검색을 통해 데이터를 시각화 및 모니터링 합니다.
Elasticsearch를 사용하는 이유
Elasticsearch는 빠릅니다. Elasticsearch는 Lucene을 기반으로 구축되기 때문에, 전체 텍스트 검색에 뛰어납니다. Elasticsearch는 또한 거의 실시간 검색 플랫폼이고 이것은 문서가 색인될 때부터 검색 가능해질 때까지의 대기 시간이 아주 짧다는 뜻입니다.
Elasticsearch는 본질상 분산적입니다. Elasticsearch에 저장된 문서는 샤드라고 하는 여러 다른 컨테이너에 걸쳐 분산되며, 이 샤드는 복제되어 하드웨어 장애 시에 중복되는 데이터 사본을 제공합니다.
Elasticsearch는 광범위한 기능 세트와 함께 제공됩니다. 속도,확장성,복원력뿐 아니라,Elasticsearch에는 데이터 롤업, 인덱스 수명 주기 관리 등과 같이 데이터를 훨씬 더 효율적으로 저장하고 검색할 수 있게 해주는 강력한 기본 기능이 다수 탑재 되어있습니다.
Elastic Stack은 데이터 수집, 시각화, 보고를 간소화합니다. Beats와 logstash의 통합은 Elasticsearch로 색인 하기 전에 데이터를 훨씬 더 쉽게 처리할 수 있게 해줍니다. Kibana는 Elasticsearch 데이터의 실시간 시각화를 제공하며, UI를 통해 애플리케이션 성능 모니터링, 로그, 인프라 메트릭 데이터에 신속하게 접근할 수 있습니다.
