# kafka
오더러에 사용되는 Kafka에 대해서..
하이퍼레저 패브릭에서 오더러는 방대한 양의 트랜잭션을 검증하고 이들을 모아서 블록을 생성한다.이때 트랜잭션이 많아지면 오버헤드가 걸리게 되고, 이를 위해 MQ Solution(message queue)인 solo와 kafka방식을 사용한다.이중에서 kafka방식에 대해
[무작정] Docker + Kafka
0. 준비 docker와 docker-compose에 대한 이해 1. Kafka와 Docker Kafka란 Producer(Leader/Follower) -> Broker -> Consumer 뛰어난 호환성 리더 관리를 위해 Zookeeper와 함께 사용
Apache Kafka 의 기본 아키텍쳐
아파치 카프카(Apache Kafka)는 분산 메시지 스트리밍 플랫폼이며 데이터 파이프 라인을 구성할 때 많이 사용된다. 카프카 학습의 기반이 될 수 있는 내용을 위주로 정리해보았다.
[Kafka] Introducing Apache Kafka
Producers and Consumers subscribe to a stream of recordsProducer -> Streaming Platform -> ConsumerThe producer and consumer here are independent of ea
consumer startOffset 안먹는 현상
이렇게 해놔도 latest가 아닌 earlist부터 가져옴. group명을 지정하면 startOffset이 earlist로 세팅됨.그래서 그간 쌓인 몇십만개를 다 읽어오려고함.. @.@https://cloud.spring.io/spring-cloud-strea
1. logstash설치 및 실행
kafka message -> logstash -> ES에 넣어만 보기kafka-client 버전확인.kafka-input-plugin과 output-plugin이 integration으로 합쳐졌다고한다.아래 들어가면 kafka-client버전을 확인 할 수 있음..
[책리뷰]카프카, 데이터 플랫폼의 최강자
지난 주부터 카프카에 대해서 인터넷을 찾아보며 공부를 하고 있었는데,내 머릿속에서 정보가 파편화 된 느낌이랄까..다시 차근히 정리해야겠다는 생각이 들었다.회사 선배가 마침 카프카 책을 가지고 있었고 주말동안 빌려달라고 해서 읽게되었다.까먹기 전에 책에 대한 내 생각을
내가보는 kafka 용어 정리(계속 작성중)
카프카의 창시자인 제이크렙스는 대학 시절 문학 수업을 들으며 소설가 프란츠 카프카에 심취해 있었는데 자신의 팀이 새로 개발할 시스템이 데이터 저장과 기록, 즉 쓰기에 최적화된 시스템이었기에 작가의 이름을 사용하는것이 좋겠다고 생각해서 카프카로 정했다고 한다.(출처 :
빈이 머야.. 무서어..
spring framework를 제대로 공부하지 않은 상태에서 kafka ReplyingkafkaTemplate 예제를 따라하고 있었다. 코드를 처음 봤을 때 드는 생각은 어..음.... 저게 단가... 저거만 하면 카프카에 전송을 할 수 있다고..??? 음그래.. 러
Java Kafka Library 차이?? (Spring kafka vs apache kafka)
java spring boot 를 이용하여 kafka Producer와 consumer를 만들 일이 생겼다. 시작은 당연히 Hello World!를 찍는것부터 해야되지 않는가! 그래서 예제를 찾아보다보니...
flume source NPE
root.logger를 debug로 바꾸니 아래와 같은 에러가 발생했다.에러를 따라가다보니 kafkaSource.class에서 log level이 debug일때만 실행되는 소스가 있는데incrementKafkaEmptyCount를 할때 를 하는데, increment시에