Apache Kafka

Apache Kafka(아파치 카프카)는 LinkedIn에서 개발된 분산 메시징 시스템으로써 2011년에 오픈소스로 공개되었다. 대용량의 실시간 로그처리에 특화된 아키텍처 설계를 통하여 기존 메시징 시스템보다 우수한 TPS를 보여주고 있다.Kafka는 발행-구독(pub

이 글에서는 위의 그림처럼 3개의 인스턴스로 구성된 클러스터를 구축해 본다.클러스터를 구성하는 kafka-test-001, kafka-test-002, kafka-test-003 인스턴스는 Zookeeper 인스턴스와 Kafaka broker를 하나씩 가지고 있다.이

Kafka는 producer와 consumer를 구현할 때 사용할 수 있는 Java 클라이언트를 공식적으로 제공한다. 그 외에도 서드파티에서 C, C++, Ruby, Python, Go를 비롯한 다양한 언어의 클라이언트를 제공한다. 이 글에서는 Java 클라이언트를 사

kafka의 consumer lag를 모니터링하기 위해서는 오픈 소스인 burrow 사용해야 함kafka-client 라이브러리를 사용해서 Java 혹은 Scala와 같은 언어를 통해 kafka consumer 구현 가능구현한 consumer 객체를 통해 현재 lag

분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트주키퍼는 직접 애플리케이션 작업을 조율하지 않고 조율하는 것을 쉽게 개발할 수 있도록 도와주는 도구이다.  API를 이용해 동기화나 마스터 선출 등의 작업을 쉽게 구현할 수 있게 해준다.각 애플리케이션의 정보를 중앙 집