# kafka

100개의 포스트

Kafka Partition reassign 절차 정리

Kafka partition reassign

6일 전
·
0개의 댓글
post-thumbnail

[Kafka] Docker 설치부터 Kafka Quick Start까지

Docker를 설치하여 Kafka 컨테이너를 실행하는 방법 & Kafka를 통한 메시지 생산 및 소비 예제

7일 전
·
0개의 댓글

Kafka Consumer Lag 에 대해서

Kafka producer 가 send 한 offset 과 consumer 가 consume한 offset 의 차이

2021년 10월 18일
·
0개의 댓글
post-thumbnail

[메시징 시스템] Kafka 파헤치기

메시징 시스템과 카프카

2021년 10월 15일
·
0개의 댓글
post-thumbnail

[Kafka] Quickstart

kafka quickstart (on Ubuntu 20.04 LTS)

2021년 10월 14일
·
0개의 댓글

Kafka 에서 자주 사용하는 명령어 정리

Kafka 주요 명령어 정리

2021년 10월 14일
·
0개의 댓글
post-thumbnail

CentOS Zookeeper & Kafka 설치 하기

안녕하세요! velog를 통해서는 처음 글을 올려보는데요..! 첫 게시물로는 데이터 플랫폼 구축에 많이 사용되는 카프카를 설치에 관련된 글을 적어볼려고 해요 카프카가 구동되기 위해서는 주키퍼라는 분산 시스템 코디네이터가 선행적으로 메모리상에 올라와야 있어야 합니다

2021년 10월 12일
·
0개의 댓글
post-thumbnail

kafka 강의 정리

Topics, Partitions, Offsets

2021년 10월 7일
·
0개의 댓글
post-thumbnail

m1 에 kafka설치하기(brew로 설치 x)

1. Confluent에 들어가서 카프카를 다운 받는다. ![](https://images.velog.io/images/kurikuri/post/de4b7319-d458-403b-ab82-e97456c1f1e7/%E1%84%89%E1%85%B3%E1%84%8F%E1%

2021년 10월 4일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka) 가 뭔지 몰라서 정리해본 쌩기초

요즘 많은 기업들이 카프카를 사용하고 있다고 해서 한 번 정리해본 카프카 기초 개념. 많은 데이터를 처리하는 대기업뿐만 아니라 정말 많은 기업에서 카프카를 사용한다고 하는데 그렇다면 카프란 대체 무엇일까?? > More than 80% of all Fortun

2021년 10월 3일
·
0개의 댓글

kafka, redis 사용해보기

kafka, redis 사용해보기

2021년 9월 26일
·
0개의 댓글
post-thumbnail

kafka로 Chat Application 만들기 정리

카프카 환경세팅채팅 어플리케이션 구축카프카 연동nginx 환경세팅(도커) 및 로드밸런싱, 리버스 프록시 모든 서버의 채팅의 동기화위 conf 파일을 보듯이 nginx를 통해 카프카와 연동된 채팅서버들을 Load Balancing을 해주고 있다.여기서 발생하는 문제점은

2021년 9월 25일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 성능 최적화 (Latency 편) [3]

이번에는 4개의 성능 목표 중 첫번째로 Latency에 대해서 어떤 파라미터를 튜닝하는지 알아보겠습니다. 프로듀서와 컨슈머의 option 중 어떤 option이 Throughput에 영향을 주는지 알아보며 어떻게 이 옵션의 파라미터가 영향을 주며, 어떻게 설정해야하는지

2021년 9월 9일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 성능 최적화 (Throughput 편) [2]

이번에는 4개의 성능 목표 중 첫번째로 Throughput에 대해서 어떤 파라미터를 튜닝하는지 알아보겠습니다. 프로듀서와 컨슈머의 option 중 어떤 option이 Throughput에 영향을 주는지 알아보며 어떻게 이 옵션의 파라미터가 영향을 주며, 어떻게 설정해야

2021년 9월 9일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 성능 최적화 [1]

이번 포스팅은 아파치 카프카의 성능을 최적화 할 수 있는 파라미터 tunning 방법을 알아봅시다.4개의 성능 목표를 최적화하기 위해 변경해야 하는 Kafka 구성 매개변수가 있습니다. 사실 Kafka 디자인 자체는 사용자에게 구성 유연성을 제공하며 Kafka 배포가

2021년 9월 9일
·
0개의 댓글
post-thumbnail

[mac] Apache Kafka quickstart

공식문서 https://kafka.apache.org/quickstart 를 보고 mac 로컬환경에 카프카를 설치하고 producer, consumer를 테스트 해봅니다.https://kafka.apache.org/downloads 에 들어가서 kak

2021년 9월 9일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 커밋(commit)과 offset [12]

이번 포스팅을 통해서 컨슈머의 커밋과 오프셋에 대해서 알아보도록 하겠습니다.카프카가 다른 메시지 큐 솔류션과 차별화되는 특징은 하나의 토픽에 대해 여러 용도로 사용할 수 있다는 점입니다. 일반적인 큐 솔로션은 특정 컨슈머가 메시지를 가져가면 큐에서 메시지가 삭제되어 다

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머 그룹(Consumer group) [11]

이번 포스팅을 통해서 컨슈머 그룹에 관해서 알아보겠습니다.일반적으로 컨슈머는 카프카 토픽에서 메시지를 읽어오는 역할을 합니다. 컨슈머 그룹은 하나의 토픽에서 여러 컨슈머 그룹이 동시에 접속해 메시지를 가져올 수 있습니다. 이것은 기존의 다른 메시징 큐 솔루션에서 컨슈머

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 파티션(partition)과 메시지 순서[10]

이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다.일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 토픽에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다.출력을 해본 결과 a부터 순

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) [9]

이번 포스팅을 통해서 아파치 카프카의 컨슈머(Consumer)에 대해 알아보겠습니다. 여기서 컨슈머는 토픽의 메시지를 가져와서 소비(consume)하는 역할을 하는 애플리케이션, 서버 등을 지칭하여 컨슈머라 일컫습니다. 이 컨슈머의 주요 기능은 특정 파티션을 관리하고

2021년 9월 7일
·
0개의 댓글