profile
꾸준히 성장하고픈 개발자입니다.
post-thumbnail

Kafka Streams

카프카 스트림즈는 카프카에서 공식적으로 제공하는 자바 라이브러리이다.토픽에 있는 데이터를 낮은 지연과 함께 빠른속도를 데이터를 처리할 수 있다. 라이브러리로 제공 되기 때문에 JVM 기반 언어를 선택하여 사용하면 된다.카프카와 완벽하게 호환된다.(외부 오픈소스 툴보다

2022년 4월 25일
·
0개의 댓글
·
post-thumbnail

Kafka 이벤트 순서 보장 시키기

Kafka key를 이용해서 순서 보장 시켜주기 > 저번에 알아본것 처럼 key를 설정해주면 같은 key는 같은 partition에 들어가기때문에 순서가 보장된다는것을 알았다. 한번 해보자 Spring code Controller Producer Consumer

2022년 4월 22일
·
0개의 댓글
·
post-thumbnail

Confluent Kafka 설치 with m1 mac

저번에는 Apach 카프카를 설치 해보았다. 하지만 Confluent에서 나온 KsqlDb를 사용해 보고 싶기때문에 Confluent 카프카를 설치 해보려 한다. Confluent 카프카가 Docker는 Amd64 버전 밖에 지원을 안하므로 파일을 다운받아 설치 해보도

2022년 4월 22일
·
0개의 댓글
·
post-thumbnail

Apach Kafka 설치 및 실행 with m1 mac

confluent 카프카를 도커를 통해 설치 하였는데 m1 맥이라서 자주 다운되고 성능이 느려서 아파치 카프카 사이트에서 다운받아서 설치 해보도록 하였다.

2022년 4월 21일
·
0개의 댓글
·
post-thumbnail

Kafka 구조

Topic은 하나의 테이블이라고 보는것이 좋다. 위 그림에서 Click, Upload Topic이 존재하며 Broker2 는 Broker1을 복제한것이다. 각각의 Topic은 partition으로 나뉜다.다음과 같이 Partition이 여러개일 경우 producer가

2022년 4월 20일
·
0개의 댓글
·
post-thumbnail

Kafka란?

데이터가 들어올때마다 하나하나 처리를 하는것배치 시스템도 실시간처럼 보이지만 초단위로 데이터를 모아서 처리하므로 네이티브 스프리밍이라고 볼수는 없다.오픈소스 분산 이벤트 스트리밍 플랫폼Publish/Subscribe Messaging 기반다음과 같이 두대의 프론트 서버

2022년 4월 20일
·
0개의 댓글
·