# kafka

18개의 포스트
post-thumbnail

오더러에 사용되는 Kafka에 대해서..

하이퍼레저 패브릭에서 오더러는 방대한 양의 트랜잭션을 검증하고 이들을 모아서 블록을 생성한다.이때 트랜잭션이 많아지면 오버헤드가 걸리게 되고, 이를 위해 MQ Solution(message queue)인 solo와 kafka방식을 사용한다.이중에서 kafka방식에 대해

2021년 1월 14일
·
0개의 댓글
post-thumbnail

[무작정] Docker + Kafka

0. 준비 docker와 docker-compose에 대한 이해 1. Kafka와 Docker Kafka란 Producer(Leader/Follower) -> Broker -> Consumer 뛰어난 호환성 리더 관리를 위해 Zookeeper와 함께 사용

2020년 12월 19일
·
0개의 댓글

Kafka

Kafka

2020년 11월 12일
·
0개의 댓글
post-thumbnail

Apache Kafka 의 기본 아키텍쳐

아파치 카프카(Apache Kafka)는 분산 메시지 스트리밍 플랫폼이며 데이터 파이프 라인을 구성할 때 많이 사용된다. 카프카 학습의 기반이 될 수 있는 내용을 위주로 정리해보았다.

2020년 10월 26일
·
0개의 댓글
post-thumbnail

하둡 에코시스템

높은 확장성과 신뢰성을 보유한 분산 스토리지와 분산 처리 기능을 제공하기 위해 다양한 소프트웨어를 밀접하게 통합한 에코시스템.

2020년 10월 3일
·
0개의 댓글

카프카 컨슈머에서 poll() 을 요청하면 어떤 일이 일어날까

컨슈머 poll 이 어떤 방식으로 진행되는지 테스트 후 동작방식을 정리해보겠다. 

2020년 9월 30일
·
0개의 댓글
post-thumbnail

[Kafka] Introducing Apache Kafka

Producers and Consumers subscribe to a stream of recordsProducer -> Streaming Platform -> ConsumerThe producer and consumer here are independent of ea

2020년 9월 26일
·
0개의 댓글

consumer startOffset 안먹는 현상

이렇게 해놔도 latest가 아닌 earlist부터 가져옴. group명을 지정하면 startOffset이 earlist로 세팅됨.그래서 그간 쌓인 몇십만개를 다 읽어오려고함.. @.@https://cloud.spring.io/spring-cloud-strea

2020년 9월 3일
·
0개의 댓글
post-thumbnail

Kafka 설치/실행 및 테스트

카프카 설치와 실행, Spring Boot와 터미널을 사용하는 간단한 테스트 코드.

2020년 8월 23일
·
0개의 댓글
post-thumbnail

[번역] kafka

APACHE kafka를 번역합니다.

2020년 7월 12일
·
0개의 댓글

1. logstash설치 및 실행

kafka message -> logstash -> ES에 넣어만 보기kafka-client 버전확인.kafka-input-plugin과 output-plugin이 integration으로 합쳐졌다고한다.아래 들어가면 kafka-client버전을 확인 할 수 있음..

2020년 6월 12일
·
0개의 댓글
post-thumbnail

apach kafka

Apache kafka 용어정리 및 구성에 대해 알아보자.

2020년 6월 11일
·
1개의 댓글
post-thumbnail

[책리뷰]카프카, 데이터 플랫폼의 최강자

지난 주부터 카프카에 대해서 인터넷을 찾아보며 공부를 하고 있었는데,내 머릿속에서 정보가 파편화 된 느낌이랄까..다시 차근히 정리해야겠다는 생각이 들었다.회사 선배가 마침 카프카 책을 가지고 있었고 주말동안 빌려달라고 해서 읽게되었다.까먹기 전에 책에 대한 내 생각을

2020년 6월 7일
·
0개의 댓글
post-thumbnail

내가보는 kafka 용어 정리(계속 작성중)

카프카의 창시자인 제이크렙스는 대학 시절 문학 수업을 들으며 소설가 프란츠 카프카에 심취해 있었는데 자신의 팀이 새로 개발할 시스템이 데이터 저장과 기록, 즉 쓰기에 최적화된 시스템이었기에 작가의 이름을 사용하는것이 좋겠다고 생각해서 카프카로 정했다고 한다.(출처 :

2020년 6월 7일
·
0개의 댓글
post-thumbnail

빈이 머야.. 무서어..

spring framework를 제대로 공부하지 않은 상태에서 kafka ReplyingkafkaTemplate 예제를 따라하고 있었다. 코드를 처음 봤을 때 드는 생각은 어..음.... 저게 단가... 저거만 하면 카프카에 전송을 할 수 있다고..??? 음그래.. 러

2020년 6월 4일
·
0개의 댓글
post-thumbnail

Java Kafka Library 차이?? (Spring kafka vs apache kafka)

java spring boot 를 이용하여 kafka Producer와 consumer를 만들 일이 생겼다. 시작은 당연히 Hello World!를 찍는것부터 해야되지 않는가! 그래서 예제를 찾아보다보니...

2020년 6월 2일
·
1개의 댓글
post-thumbnail

KAFKA 맨날까먹는것

0. 카프카 실행 1. 카프카 토픽 생성 2. 토픽 확인 3. 컨슈머 콘솔에서 토픽 읽기

2020년 3월 19일
·
0개의 댓글

flume source NPE

root.logger를 debug로 바꾸니 아래와 같은 에러가 발생했다.에러를 따라가다보니 kafkaSource.class에서 log level이 debug일때만 실행되는 소스가 있는데incrementKafkaEmptyCount를 할때 를 하는데, increment시에

2020년 3월 18일
·
1개의 댓글