Logstash 다중 파이프라인 구성하기

Logstash Multiple Pipelines

작업을 하다보니 검색이 필요한 요소들이 많아짐에 따라 엘라스틱서치에 등록해야할 것들이 늘어났다.

그래서 conf 파일을 여러개 붙여서 사용하는 멀티플 파이프라인을 구성해보기로 결정했다.

예전부터 해보고 싶었던 작업이였는데
자세하게 소개가 되어있는 것도 찾아보질 못했고 너무 간단하게만 적혀있어서
어렵게 생각하고 있었는데 해보고 나니 정말 간단한 것이였다.

구성하는 방법

여러개의 conf 파일을 pipelines.yml에 적어줌으로써 적용을 시킬 수 있다.

다양한 옵션들이 존재하는데, 나는 이정도만 적어줬다.

1. pipeline.id 파이프라인의 ID를 적어주면 된다.
2. pipeline.workers 처리속도와 관련이 있는데 서버에 부하를 줄이기 위해 1로 설정했다.
3. path.config 해당하는 conf 파일의 path를 적어주면 된다.

그리고 제일 중요한 것은 path.config에 적혀있는 path는
docker 내부에 올라갔을 때의 경로를 적어줘야만 한다.

조금 더 자세한 옵션에 대해서는 아래 공식 홈페이지 링크를 확인해보는 것이 좋을 것 같다.

https://www.elastic.co/guide/en/logstash/current/logstash-settings-file.html

docker-compose.yaml

그리고 docker-compose의 logstash volums에 모든 것을 적어주면 적용이 되는 것을 확인할 수 있다.

정상적으로 적용이 된다면 아래와 같은 메세지를 확인할 수 있다.