Consumer lag?
Kafka producer 가 send 한 offset 과 consumer 가 consume한 offset 의 차이
- partition 이 여러개인 경우 여러 consumer lag 가 존재할 수 있음
- consumer 상태 모니터링에 사용하는 지표 중 하나
- topic 내 여러 consumer lag 중 records-max-lag 라 함
- Kafka Consumer 라이브러리 혹은 모니터링 도구를 통해 측정 가능
단, consumer 에서 직접 측정은 리스크가 크다 (consumer 상태에 대한 의존성,consumer마다 개발 등)
Burrow
- consumer lag 모니터링이 가능한 Go 기반 오픈소스 프로젝트
- 여러 Kafka cluster 도 하나의 Burrow 구축으로 모니터링 가능
- consumer status 를 ERROR, WARNING, OK 로 구분
WARNING : 데이터가 급증하여 consumer offset 이 따라가지 못할 경우
ERROR : 데이터가 누적되고 있으나 consumer 가 데이터를 가져가지 않음 - 모니터링을 위한 HTTP API 제공
- Apache License 2.0
