Logstash
로그스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다.
로그스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다.
다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정으 단순화 한다. 따라서 로그스테이시는 더 많은 양과 다양한 데이터를 활용하여 통찰력 있게 보는 것을 가능하게 해준다.
Logstash의 기능
1. Elasticsearch와 Kibana와 함께 수평적으로 데이터 프로세스 파이프라인이 스케일업 할 수 있다.
2. 다른 input, 필터, output 플러그인들을 mix and match 할 수 있다.
3. 200개가 넘는 플러그인이 사용 가능하며, 새로 생성하고 기여도 할 수 있다.
Logstash 파이프라인
Logstash의 전체적인 파이프라인에는 inputs과 filters, 그리고 output이 존재한다.
이 중에서 2가지 필수적인 요소는 inputs과 outputs이고, 파싱 여부에 따라 필터는 선택적으로 사용이 가능하다.
Logstash 설치하기
공식문서의 tar파일을 다운하여 서버에 옮겨주고 압축해제하면 설치는 끝!
필요한것. LS_JAVA_HOME 경로 설정한 java
Logstash에서 지원하는 java 버전이 있으니 확인할것.
그리고 JAVA_HOME이 있어도 LS_JAVA_HOME 환경변수를 따로 생성해주어야 Logstash 동작 가능하다.
[참고] linux 환경변수 추가하기
https://devpouch.tistory.com/125
실행 해보기
[참고]
https://dogf.tistory.com/85
https://ksr930.tistory.com/39
$ bin/logstash -e 'input { stdin { } } output { stdout {} }' 실행 후 WRNING Using JAVA_HOME..... 이렇게 떠서 문제가 또 있나 생각 했더니 조금 기다리니까
Pipelines running 이라는 문구가 나와 정상 실행됬다.
이렇게 실행중인 Logstash에 Hello라고 치니 그대로 Hello가 출력됬다.
실행시 input그래도 output한다 명시해서 그렇다.
Logstash 설치하면서 문제점
- 처음 설치파일을 풀 때 오류가 있었는지 실행하니까
Unable JDRuby? 같은 오류가 나왔다.
찾아보니 다시 압축해제 해보라 하여 해결하였다. - LS_JAVA_HOME
Logstash는 java를 LS_JAVA_HOME환경변수를 통해 사용함으로 이 환경변수가 있어야 실행할 수 있다.
