안정적인 Kafka 운영하기

1.[Kafka] Kafka Lag exporter를 이용한 Kafka Consumer Lag 모니터링

post-thumbnail

Kafka Consumer Lag 의 개념과 이를 모니터링 할 수 있는 Kafka Lag exporter를 소개합니다.

2021년 11월 9일

2.Kafka 클러스터 Rebalance 하기 (1)

post-thumbnail

일정 규모 이상의 Kafka 클러스터를 운영하다 보면 클러스터 내 불균형이 일어날 때가 있습니다. 여기서 말하는 "불균형"의 유형은 아래와 같습니다. 1. 리더 분포의 불균형 ( leader Skew ) - leader partition이 각 브로커 마다 골고루 분포

2022년 8월 3일

3.Kafka 클러스터 Rebalance 하기 (2)

post-thumbnail

지난 포스팅에서는 Kafka Cluster의 불균형의 유형은 아래와 같이 나눌 수 있으며, 1. 리더 분포의 불균형 ( leader Skew ) - leader partition이 각 브로커 마다 골고루 분포되지 않은 상태 2. 브로커 불균형 ( Broker ske

2022년 9월 1일