ELK(1/n)

ELK?

1. Logstash:

수집할 로그를 선정해서, 지정된 대상 서버(Elasticsearch)에 인덱싱해서 전송하는 역할을 담당하는 소프트웨어 ,

• 다양한 플러그인을 제공하여 여러 유형의 로그 수집 및 인덱싱이 가능.

• 여러 소스의 데이터를 동시에 수집하여 변환 한 다음 Elasticsearch와 같은 stash로 보내는 Server side Data 처리 Pipeline

​

2. Elasticsearch:

검색 및 분석 엔진으로 Logstash를 통해 수신된 데이터를 저장소에 저장하는 역할을 담당

• RDB와 유사하나 검색 및 분석 기능이 더 뛰어남, 데이터를 중심부에 저장하여 예상되는 항목을 검색하고 예상치 못한 항목을 밝혀낼 수 있음

• 정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로 다양한 유형의 검색을 수행하고 결합할 수 있음

​

3. Kibana:

데이터를 시각적으로 탐색하고 실시간으로 분석

• 사용자에게 분석 결과를 가시적으로 보여주기 위한 목적으로 만들어진 소프트웨어 로 Visualization 을 담당하는 HTML + Javascript 엔진이라고 볼 수 있으며, Elasticsearch에서 차트와 그래프로 데이터를 시각화

• 키바나(Kibana)의 경우 대체 가능한 소프트웨어로 그라파나(Grafana)가 있다. 데이터베이스 관리자가 주로 사용할 법한 기능을 일부 제외하고 사용자 인터페이스(UI) 측면을 강화한 특징이 있음

​

ELK Stack?

ELK 솔루션에서 Beats 추가되면서 ELK Stack이라고 불린다.

Beats :

서버에 에이전트로 설치하여 다양한 유형의 데이터를 ElasticSearch 또는 Logstash에 전송하는 단일 목적의 데이터 수집기 플랫폼입니다. 수백 수천 개의 장비와 시스템으로 부터 Logstash나 Elasticsearch에 데이터를 전송.

​

​

DataData Flow 는?

1. 1개 이상의 Client( 수집할 Data 발생 서버 )에서 beats가 특정 트리거에 의해 logstash로 Data를 전송합니다. (각 Client마다 Beats 존재)

2. logstash로 전달 된 Data를 커스터마이징이 가능한 필터를 통해 가공하여 Elasticsearch로 전달 합니다.

3. Elasticsearch로 전달 받은 데이터를 서버(Elasticsearch)에 저장합니다.

4. kibana에서 연동되있는 Elasticsearch에 저장된 데이터 셋을 토대로 시각화를 제공 합니다.