로그스태시(Logstash)란 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진
로그스태시(Logstash)의 기능
- 로그스태시는 데이터가 전달되는 동안 데이터를 구문 분석, 변환 및 필터링 한다.
- 구조화되지 않은 데이터로부터 구조를 도출할 수 있다.
- 개인정보를 익명화하거나 완전히 제외할 수 있다.
- 위치 검색을 수행할 수 있다.
- 여러 노드에 걸쳐 확장할 수 있다.
- 적어도 한번 이상의 delivery를 보장한다.
- 부하급증으로부터 처리량을 흡수한다.
일반적인 사용법
- 개별 웹 서버 호스트에 file beat라는 경량 클라이언트를 설치
- file beat는 데이터를 로그스태시 클러스터에 전송하여 데이터를 버퍼링
- 지리적 위치 및 기타 작업을 수행
- elasticsearch로 작업을 전송하여 인덱싱을 가능하게 함
