• ELK?
  • ElasticSearch, Logstash, Kibana의 앞글자를 따 통칭하는 단어
  • ElasticSearch: 검색 및 분석 엔진
  • Logstash: 데이터를 수집하고 변환 및 데이터 처리 파이프라인
  • Kibana: 데이터 시각화

Logstash란?

1. 하는 일
   1. ‘인풋’ 데이터를 ‘필터링’해 ‘아웃풋’으로 내보냄
   2. 데이터 처리 파이프라인
   3. 데이터 실시간 파싱 및 변환
2. 인풋
   1. 다양한 데이터 포맷 지원
   2. 로그, 매트릭스, 웹 애플리케이션, 데이터 소스, AWS 서비스 등에서 인풋 데이터 수집 가능
3. 데이터 필터링
   1. 데이터를 소스에서 저장소로 옮길 때 분석에 유용한 구조로 변환
   2. 주요 기능
      1. 구조화되지 않은 데이터를 구조화 (grok)
      2. IP주소에서 지리적 좌표를 추출
      3. 개인정보 식별 데이터 익명화
4. 아웃풋
   1. 데이터를 원하는 곳으로 전송할 수 있는 다양한 출력 옵션 제공
   2. ElasticSearch는 검색과 분석을 도와주는 기본 출력 옵션이지만 선택에 따라 변경할 수 있음
5. 관리
   1. 단일 UI로 중앙에서 관리 가능 (kibana)
   2. 파이프라인 매니지먼트 UI를 통해 logstash 배포를 쉽게 조정하고 관리 가능
   3. 여러 DB를 한 곳에서 볼 수 있음
6. 아웃풋의 활용
   1. 유입 분석, 트래픽, 성과 추이 등의 데이터를 실시간으로 확인

Reference

https://www.elastic.co/logstash

https://blog.bizspring.co.kr/%ED%85%8C%ED%81%AC/logstash-%EC%8B%A4%EC%8B%9C%EA%B0%84-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%88%98%EC%A7%91-%ED%8C%8C%EC%9D%B4%ED%94%84%EB%9D%BC%EC%9D%B8/

https://blog-sluv.tistory.com/m/entry/Elastic-Search-Logstash-mysql-%EC%97%B0%EB%8F%99%ED%95%98%EA%B8%B0