# kafka

wwlee94

Kafka 재시도, DLT 설정 관련 Boilerplate 코드 리팩토링하기

suran

Kafka connect의 정의 및 Kafka MongoDB connector를 통해 Kafka와 Mongo를 연동해줍니다.

dasd412

붉은 색 부분은 대략 구현하였고 파란색 부분을 마저 구현해야 한다.물론, writer를 find 하기 전에 writer를 save 해야 하는 선행 작업이 필요하다. 그런데 이 작업은 spring security와 msa를 같이 고려해야 하므로 현 시점에선 진행하기 어렵

ksh9409255

저희팀은 온엔더팜이라는 서비스를 만들때, 먼저 모놀리식 구조로 설계를 하였습니다.모놀리식 구조에서 MSA구조로 전환할때 가장 중요하게 생각했던 것이 트랜잭션이었습니다.그래서 서비스의 모든 트랜잭션을 조사하여 트랜잭션 단위를 묶어서 서비스를 나누었습니다.그리하여 저희 팀

denver_almighty

Docker-Compose로 Kafka 멀티브로커 구성하기

denver_almighty

Podman compose로 kafka 실행하기

dobby

실시간 데이터를 하이브에 저장해야하는 요건이 생길수가 있으므로, 참고자료를 남겨본다참조 : https://github.com/apache/hive/blob/master/kafka-handler/README.md

2h-kim

kafka connect 카프카 커넥트는 카프카 오픈소스에 포함된 툴 중 하나로 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션이다. 파이프라인마다 프로듀서, 컨슈머를 개발하는 것은 비효율적이다. 커넥트는 특정 작업 형태를 템플릿으로 만들어놓은 커넥터를 실행함으로써 반복 작업을 줄일 수 있다. 커넥터의 경우 소스 커넥...

kt1201

Kafka는 요즘 Uber, 에어비엔비, 넷플릭스 등 많은 회사에서 사용하는 빅데이터 공간에서 가장 인기있는 이벤트 스트리밍 플랫폼이다.기존의 Enterprise Architecture에서는 모든 앱이 사일로화(부서, 사업, 브랜치별로 데이터 단절)되어 실시간으로 이상

juhwanheo

0. Summary > Elastic Stack 을 구축을 하고 Kibana에서 모니터링을 할 때 서비스, 서버 구분을 위해 Logstash에서 Multi Topic 설정과 Filebeat Fields를 추가하는 방법을 기록하려고 한다. 1, Architecture

2h-kim

Code의 경우, Python을 이용하여 컨버팅하려고 하였으나, faust에서 Null 키에 대해 오류가 많이 발생하여 우선은 코드 변환 패스 카프카 스트림즈 카프카 스트림즈는 토픽에 적재된 데이터를 상태/비상태 기반으로 실시간 변환하여 다른 토픽에 적재하는 라이브러리이다. 컨슈머와 프로듀서의 조합으로 스트림즈 제공하는 기능과 유사하게 만들 수는 있으나,...

cbkyeong

시켜줘 데이터의 명예소방관.. 데이터의 소실을 막아줄 녀석들과 서버쓰

wwlee94

Spring 프로젝트로 Kafka와 ELK (Elasticsearch, Logstash, Kibana) 를 설치 & 실행해보고 다양한 서비스의 운영 데이터 로그를 수집하여 Kibana 로그 데이터를 조회해보고 시각화해보자.

wwlee94

ELK 스택을 도입하게 된 개요를 설명하고 ELK 스택이 무엇인지 간략하게 알아보자.

juliy9812

kafka 개념, 사용하는 이유, 설치, 사용방법 튜토리얼

juhwanheo

여러 서비스에 여러대의 BE 서버를 구성하여 운영중에 있다.서비스의 로그를 확인하기 위해서 해당 서비스의 BE 서버에 접속하여 로그를 확인해야 하는 매우 큰 불편함이 있어 Kafka 강의를 들으면서 이걸 써먹어야 겠다는 생각이 들어서 Dev BE 서버에 Elastic

wwlee94

운영 중인 서비스의 카프카 메시지 크기가 커지면서 메시지 압축에 대한 니즈가 생겼다. 카프카 압축을 적용하면서 알게 된 것들을 공유해보고자 한다.

ljks789

Kafka?분산 스트리밍 플랫폼, 데이터 파이프라인(언제든 데이터를 꺼내 쓸 수 있도록 데이터를 계속 쌓아두는 역할)을 만들 때 주로 사용Kafka 특징?Publisher Subscriber 모델 \- Publisher Subscriber 모델은 데이터 큐를 중간에

peaceminusone

Fortune 100개 기업 기준으로 80%이상이 Kafka 를 사용하고 있으며,제조, 은행, 통신 등 다양한 업종에서 높은 비율로 사용중이다.(국내에서도 많은 큰 회사들이 사용중)카프카 클러스터 \- 메세지를 저장하는 저장소 \- 하나의 여러개의 브로커(각각의 서