# kafka
Apache Kafka 의 기본 아키텍쳐
아파치 카프카(Apache Kafka)는 분산 메시지 스트리밍 플랫폼이며 데이터 파이프 라인을 구성할 때 많이 사용된다. 카프카 학습의 기반이 될 수 있는 내용을 위주로 정리해보았다.
[Kafka] Introducing Apache Kafka
Producers and Consumers subscribe to a stream of recordsProducer -> Streaming Platform -> ConsumerThe producer and consumer here are independent of ea
Spark로 tweet 메시지 실시간으로 처리하기
(아키텍처 내 왼쪽에 해당하는) 2019년 겨울 프로젝트 정리 3 - from Kafka to Spark
Twitter API를 활용하여 실시간 tweet을 Kafka로 보내기
2019년 겨울 프로젝트 정리 TweetDeck Clone Project = 데이터 파이프라인 및 tweet 실시간 피드 개발 (위 사진에서 왼쪽에 해당하며) Twitter API로부터 실시간 tweet들을 받아서 tweet과 retweet으로 분리하여 k
consumer startOffset 안먹는 현상
이렇게 해놔도 latest가 아닌 earlist부터 가져옴. group명을 지정하면 startOffset이 earlist로 세팅됨.그래서 그간 쌓인 몇십만개를 다 읽어오려고함.. @.@https://cloud.spring.io/spring-cloud-strea
1. logstash설치 및 실행
kafka message -> logstash -> ES에 넣어만 보기kafka-client 버전확인.kafka-input-plugin과 output-plugin이 integration으로 합쳐졌다고한다.아래 들어가면 kafka-client버전을 확인 할 수 있음..
[책리뷰]카프카, 데이터 플랫폼의 최강자
지난 주부터 카프카에 대해서 인터넷을 찾아보며 공부를 하고 있었는데,내 머릿속에서 정보가 파편화 된 느낌이랄까..다시 차근히 정리해야겠다는 생각이 들었다.회사 선배가 마침 카프카 책을 가지고 있었고 주말동안 빌려달라고 해서 읽게되었다.까먹기 전에 책에 대한 내 생각을
내가보는 kafka 용어 정리(계속 작성중)
카프카의 창시자인 제이크렙스는 대학 시절 문학 수업을 들으며 소설가 프란츠 카프카에 심취해 있었는데 자신의 팀이 새로 개발할 시스템이 데이터 저장과 기록, 즉 쓰기에 최적화된 시스템이었기에 작가의 이름을 사용하는것이 좋겠다고 생각해서 카프카로 정했다고 한다.(출처 :
빈이 머야.. 무서어..
spring framework를 제대로 공부하지 않은 상태에서 kafka ReplyingkafkaTemplate 예제를 따라하고 있었다. 코드를 처음 봤을 때 드는 생각은 어..음.... 저게 단가... 저거만 하면 카프카에 전송을 할 수 있다고..??? 음그래.. 러
Java Kafka Library 차이?? (Spring kafka vs apache kafka)
java spring boot 를 이용하여 kafka Producer와 consumer를 만들 일이 생겼다. 시작은 당연히 Hello World!를 찍는것부터 해야되지 않는가! 그래서 예제를 찾아보다보니...
flume source NPE
root.logger를 debug로 바꾸니 아래와 같은 에러가 발생했다.에러를 따라가다보니 kafkaSource.class에서 log level이 debug일때만 실행되는 소스가 있는데incrementKafkaEmptyCount를 할때 를 하는데, increment시에