[Error] Logstash - Read timed out

A plugin had an unrecoverable error. will restart this plugins.
Error: Read timed out
Exception: Manticore::SocketTimeout

• 에러 발생 서버 환경
  64core/128G
  logstash 7.8
  elasticsearch 7.8

• 에러 발생 작업
  input : Elasticsearch 데이터
  output : csv파일

1. 에러 발생

Elasticsearh에 매일 데이터를 적재한 후 csv파일로 데이터를 추출하는 작업을 운영하며 간헐적으로 위와 같은 오류가 발생.
데이터가 input query 만큼 추출되지 않거나 중복으로 추출되는 상황이 발생.

2. 여러가지 시도

2-1. logstash pipeline worker 조정

• 여러 문서를 찾아본 결과 worker의 권장 수는 cpu 코어수 만큼 설정.
  하지만 서버에 다른 작업과 다른 프로세스가 많이 실행되어 있는 상태로 기존 30 -> 20 으로 하향 조정.

2-2. logstash jvm 옵션 조정

• 기존 xms 4G, xmx8G 에서 xms, xmx 모두 8G로 수정.
  xms와 xmx를 같은 값으로 해야 힙 크기 조정 작업을 피할 수 있다고 한다.

2-3. thread_pool search queue size 조정

• elasticsearch.yml 파일에 thread_pool.search.queue_size 기존 default 값에서 상향 조정.
  단, queue_size 가 커진다고 해서 병렬성이 증가하는 것은 아니고, 단순히 쌓아놓는 양만 증가하는 것이기 때문에 근본적으로 처리속도를 늘리지 않는 이상 메모리만 증가하는 부작용이 발생할 수도 있음

---

💡 참고

https://medium.com/ableneo/best-practices-for-logstash-81e1eb6a6262