profile
열심히 살자

Kafka metric monitoring 2

"broker01" 서버로 접속한 후, apache kafka 실행apache kafka 실행 (zookeeper, broker) : jmx port 적용"kafka-client" 서버로 접속한 후, logstash(producer)와 logstash(consumer)

2022년 5월 6일
·
0개의 댓글
·
post-thumbnail

Kafka metric monitoring 1

이번 포스팅은 kafka를 통해 producer와 consumer가 데이터를 주고 받는 과정에서 kafka에서 발생하는 메트릭에 대해 모니텅 하고자 한다. 필자는 총 3대의 서버를 사용했으며, 각각의 역할은 kafka-client, broker, monitoring이다

2022년 5월 6일
·
0개의 댓글
·
post-thumbnail

Apache Kafka 주요 요소4(Replication)

Broker 에 장애가 발생하면, 장애가 발생한 Broker의 Parition들은 모두 사용할 수 없게 되는 문제가 발생Producer가 Write하는 LOG-END-OFFSET과 Consumer Group의 Consumer가 Read하고 처리한 후에 Commit한 C

2022년 4월 6일
·
0개의 댓글
·
post-thumbnail

Apache Kafka 주요 요소3

메시지를 Topic의 어떤 Partition으로 보낼지 결정한다전제 조건은 Key가 null이 아니어야 한다

2022년 3월 21일
·
0개의 댓글
·
post-thumbnail

Apache Kafka 주요 요소2(Zookeeper, Broker)

Kafka Broker는 Partition에 대한 Read 및 Write를 관리하는 소프트웨어Kafka Server라고 부르기도 하며, Topic내의 Partition들을 분산, 유지 및 관리각각의 Broker들은 ID로 식별됨 (단 ID는 숫자)Topic의 일부 Pa

2022년 3월 10일
·
0개의 댓글
·
post-thumbnail

Apache Kafka 주요 요소1(Producer, Consumer, Topic, Partition, Segment)

1\. Topic, Producer, ComsumerProducer: 메시지를 생산해서 Kaffa의 Topic으로 메시지를 보내는 애플리케이션Consumer: Topic의 메시지를 가져와서 소비하는 애플리케이션Consumer group: Topic의 메시지를 사용하기

2022년 3월 2일
·
0개의 댓글
·