# kafka

19개의 포스트
post-thumbnail

Apache Kafka 의 기본 아키텍쳐

아파치 카프카(Apache Kafka)는 분산 메시지 스트리밍 플랫폼이며 데이터 파이프 라인을 구성할 때 많이 사용된다. 카프카 학습의 기반이 될 수 있는 내용을 위주로 정리해보았다.

어제
·
0개의 댓글
post-thumbnail

하둡 에코시스템

높은 확장성과 신뢰성을 보유한 분산 스토리지와 분산 처리 기능을 제공하기 위해 다양한 소프트웨어를 밀접하게 통합한 에코시스템.

2020년 10월 3일
·
0개의 댓글

카프카 컨슈머에서 poll() 을 요청하면 어떤 일이 일어날까

컨슈머 poll 이 어떤 방식으로 진행되는지 테스트 후 동작방식을 정리해보겠다. 

2020년 9월 30일
·
0개의 댓글
post-thumbnail

[Kafka] Introducing Apache Kafka

Producers and Consumers subscribe to a stream of recordsProducer -> Streaming Platform -> ConsumerThe producer and consumer here are independent of ea

2020년 9월 26일
·
0개의 댓글
post-thumbnail

Spark로 tweet 메시지 실시간으로 처리하기

(아키텍처 내 왼쪽에 해당하는) 2019년 겨울 프로젝트 정리 3 - from Kafka to Spark

2020년 9월 11일
·
0개의 댓글
post-thumbnail

Twitter API를 활용하여 실시간 tweet을 Kafka로 보내기

2019년 겨울 프로젝트 정리 TweetDeck Clone Project = 데이터 파이프라인 및 tweet 실시간 피드 개발 (위 사진에서 왼쪽에 해당하며) Twitter API로부터 실시간 tweet들을 받아서 tweet과 retweet으로 분리하여 k

2020년 9월 4일
·
0개의 댓글

consumer startOffset 안먹는 현상

이렇게 해놔도 latest가 아닌 earlist부터 가져옴. group명을 지정하면 startOffset이 earlist로 세팅됨.그래서 그간 쌓인 몇십만개를 다 읽어오려고함.. @.@https://cloud.spring.io/spring-cloud-strea

2020년 9월 3일
·
0개의 댓글
post-thumbnail

Kafka 설치/실행 및 테스트

카프카 설치와 실행, Spring Boot와 터미널을 사용하는 간단한 테스트 코드.

2020년 8월 23일
·
0개의 댓글
post-thumbnail

[번역] kafka

APACHE kafka를 번역합니다.

2020년 7월 12일
·
0개의 댓글

1. logstash설치 및 실행

kafka message -> logstash -> ES에 넣어만 보기kafka-client 버전확인.kafka-input-plugin과 output-plugin이 integration으로 합쳐졌다고한다.아래 들어가면 kafka-client버전을 확인 할 수 있음..

2020년 6월 12일
·
0개의 댓글
post-thumbnail

apach kafka

Apache kafka 용어정리 및 구성에 대해 알아보자.

2020년 6월 11일
·
1개의 댓글
post-thumbnail

[책리뷰]카프카, 데이터 플랫폼의 최강자

지난 주부터 카프카에 대해서 인터넷을 찾아보며 공부를 하고 있었는데,내 머릿속에서 정보가 파편화 된 느낌이랄까..다시 차근히 정리해야겠다는 생각이 들었다.회사 선배가 마침 카프카 책을 가지고 있었고 주말동안 빌려달라고 해서 읽게되었다.까먹기 전에 책에 대한 내 생각을

2020년 6월 7일
·
0개의 댓글
post-thumbnail

내가보는 kafka 용어 정리(계속 작성중)

카프카의 창시자인 제이크렙스는 대학 시절 문학 수업을 들으며 소설가 프란츠 카프카에 심취해 있었는데 자신의 팀이 새로 개발할 시스템이 데이터 저장과 기록, 즉 쓰기에 최적화된 시스템이었기에 작가의 이름을 사용하는것이 좋겠다고 생각해서 카프카로 정했다고 한다.(출처 :

2020년 6월 7일
·
0개의 댓글
post-thumbnail

빈이 머야.. 무서어..

spring framework를 제대로 공부하지 않은 상태에서 kafka ReplyingkafkaTemplate 예제를 따라하고 있었다. 코드를 처음 봤을 때 드는 생각은 어..음.... 저게 단가... 저거만 하면 카프카에 전송을 할 수 있다고..??? 음그래.. 러

2020년 6월 4일
·
0개의 댓글
post-thumbnail

Java Kafka Library 차이?? (Spring kafka vs apache kafka)

java spring boot 를 이용하여 kafka Producer와 consumer를 만들 일이 생겼다. 시작은 당연히 Hello World!를 찍는것부터 해야되지 않는가! 그래서 예제를 찾아보다보니...

2020년 6월 2일
·
1개의 댓글
post-thumbnail

Apache Kafka (2) 설치

Apache Kafka (2) 설치

2020년 4월 13일
·
0개의 댓글
post-thumbnail

Apache Kafka (1) 들어가며

Apache Kafka (1) 설치

2020년 4월 13일
·
0개의 댓글
post-thumbnail

KAFKA 맨날까먹는것

0. 카프카 실행 1. 카프카 토픽 생성 2. 토픽 확인 3. 컨슈머 콘솔에서 토픽 읽기

2020년 3월 19일
·
0개의 댓글

flume source NPE

root.logger를 debug로 바꾸니 아래와 같은 에러가 발생했다.에러를 따라가다보니 kafkaSource.class에서 log level이 debug일때만 실행되는 소스가 있는데incrementKafkaEmptyCount를 할때 를 하는데, increment시에

2020년 3월 18일
·
1개의 댓글