ELK(ElasticSearch, LogStash, Kibana)

• Elasticsearch: JSON 기반의 분산형 검색 및 분석 엔진으로 대규모의 데이터를 손쉽게 저장, 검색, 분석할 수 있다.
• Kibana: 확장형 사용자 인터페이스로 데이터를 구체적으로 시각화할 수 있다.
• Logstash: 확장형 플러그인 에코시스템으로 구성된 동적 데이터 수집 파이프라인
• Beats: 단말 장치의 데이터를 전송하는 경량 데이터 수집기 플랫폼

  검색·분석·데이터 저장소 역할을 하는 엘라스틱서치(ElasticSearch),
  데이터 수집을 담당하는 비츠(Beats),
  정제·전처리를 수행하는 로그스태시(Logstash),
  시각화·관리 기능을 제공하는 키바나(Kibana)로 구성

ElasticSearch

Elasticsearch는 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 Apache Lucene을 기반으로 한 분산형 오픈 소스 검색 및 분석 엔진이다. 간단한 RESTful API, 분산형 특징, 빠른 속도, 높은 확장성으로 잘 알려져 있으며, Elastic Stack의 중심 구성 요소이다.

애플리케이션 검색, 웹사이트 검색, 엔터프라이즈 검색, 로깅과 로그 분석, 인프라 메트릭과 컨테이너 모니터링, 애플리케이션 성능 모니터링, 위치 기반 정보 데이터 분석 및 시각화, 보안 분석, 비즈니스 분석 등 다양한 서비스에 이용이 가능하다.

Kibana

Kibana는 Elastic Stack을 기반으로 구축된 오픈 소스 프런트엔드 애플리케이션으로, Elasticsearch에서 색인된 데이터를 검색하고 시각화하는 기능을 제공한다. 또한 Elastic Stack 클러스터를 모니터링, 관리 및 보호하기 위한 사용자 인터페이스의 역할과 Elastic Stack에서 개발된 기본 제공 솔루션의 중앙 집중식 허브 역할도 수행한다.

Elasticserach에서 색인된 데이터를 검색하여 보고, 시각화하며 막대 차트, 원형 차트, 표, 히스토그램, 지도를 생성하여 데이터를 분석한다. 브라우저를 통해 대규모 데이터에 대한 실시간 분석 보기를 제공한다.
웹 인터페이스를 통해 Elastic Stack 인스턴스를 모니터링하고 관리하며 보호한다.
통합 가시성, 보안 및 엔터프라이즈 검색 애플리케이션을 위해 Elastic Stack에서 개발된 기본 제공 솔루션에 대한 집중화된 중앙 접근 기능을 제공한다.

LogStash

Logstash는 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진으로, 서로 다른 소스의 데이터를 탄력적으로 통합하고, 사용자가 선택한 목적지로 데이터를 정규화할 수 있다. 다양한 유형의 데이터(웹 로그, 애플리케이션 로그, HTTP 요청, 센서 정보 등)를 입력(INPUTS), 필터(FILTER), 출력(OUTPUTS) 파이프라인을 통해 원하는 형식으로 변환(확장, 변경, 필터링, 삭제 등의 처리를 통해 가공)하고 원하는 데이터 저장소로 전달할 수 있다. Elastic Stack에서는 가공된 데이터를 Elasticsearch로 전달한다.

Beats

Beats는 다소 부피가 큰 Logstash의 기능을 세분화하여, 데이터를 수집하는 원격 서버에 에이전트로 설치하는 경량화된 오픈소스 데이터 수집기이다. Beats를 통해 수집된 데이터는 Logstash를 통하거나, 또는 Elastcisearch로 직접 보낼 수도 있다. 각 용도에 따라 선택하여 사용할 수 있다.

ELK Stack을 이용한 로그 관제 시스템