검색엔진이란?

검색엔진

사용자가 원하는 정보만을 여러 웹 사이트나 웹 페이지 등에서 검색해
주는 시스템이나 프로그램 등을 통틀어 검색 엔진(search engine)이라고 합니다


검색 엔진의 동작 원리
검색 엔진은 크게 정보 수집, 색인 그리고 검색의 순서로 동작합니다.

Elasticserach

Apache Lucene(아파치 루씬) 기반의 Java 오픈소스 분산 검색 엔진

Elasticsearch Architecture

클러스터(cluster) - 가장 큰 시스템 단위, 하나 이상의 노드
노드(node) - 단위 프로세스
인덱스(index) - RDBMS의 database
샤딩(sharding) - 데이터를 분산해서 저장, index 를 여러 shard로 쪼갬
replica - 또 다른 형태의 shard - 복제샤드

ELK 스택

Logstash
다양한 소스( DB, csv파일 등 )의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 Elasticsearch로 전달


Elasticsearch
Logstash로부터 받은 데이터를 검색 및 집계를 하여 필요한 관심 있는 정보를 획득


Kibana
Elasticsearch의 빠른 검색을 통해 데이터를 시각화 및 모니터링