# Apache Kafka

19개의 포스트
post-thumbnail

Apache Kafka(3) - 카프카 기본 커맨드 라인2

kafa-console-producer.sh > 이전 글에서 생성한 토픽에 데이터를 넣을 수 있는 kafka-console.producer.sh 커맨드를 알아보자. 토픽에 넣는 데이너는 레코드(record)라 부르며 메세지 키-값 (key-value) 쌍으로 구성되어

2022년 3월 6일
·
0개의 댓글
post-thumbnail

Kafka란?

빠르고 확장 가능한 작업을 위해 데이터 피드의 분산 스트리밍, 파이프 라이닝 및 재생을 위한 실시간 스트리밍 데이터를 처리하기 위한 목적을 설계된 오픈 소스 분산형 게시-구독 메시징 플랫폼서버 클러스터 내에서 데이터 스트림을 레코드로 유지하는 방식으로 작동하는 브로커

2022년 3월 5일
·
0개의 댓글
post-thumbnail

Apache Kafka(3) - 카프카 기본 커맨드 라인1

이전 글에서는 EC2 인스턴스에 카프카 프로커, 주키퍼를 설치 후 로컬PC를 통해 통신을 확인하는 방법까지 알아봤습니다. 이번 글에서는 실제 카프가 운영환경에서 기본적이고 필수적인 명령어를 실행하여 토픽의 생성과 수정, 파티션 수정, 데이터를 전송하고 받는 방법들을 알

2022년 2월 16일
·
0개의 댓글
post-thumbnail

Apache Kafka(2) - 주키퍼, 브로커 설치

지난 글에서 실습용 카프가 구축을 위한 ec2 발급까지 진행 하였고, 이어서 주키퍼, 브로커 설치 및 간단한 설정 방법 및 개념을 알아보겠습니다. 인스턴스에 자바 설치 카프카 브로커를 실행하기 위해선 인스턴스에 JDK가 필요하다. 이유는 카프카 프로커는 스칼라와 자

2022년 2월 16일
·
1개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 성능 최적화 (Latency 편) [3]

이번에는 4개의 성능 목표 중 첫번째로 Latency에 대해서 어떤 파라미터를 튜닝하는지 알아보겠습니다. 프로듀서와 컨슈머의 option 중 어떤 option이 Throughput에 영향을 주는지 알아보며 어떻게 이 옵션의 파라미터가 영향을 주며, 어떻게 설정해야하는지

2021년 9월 9일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 성능 최적화 (Throughput 편) [2]

이번에는 4개의 성능 목표 중 첫번째로 Throughput에 대해서 어떤 파라미터를 튜닝하는지 알아보겠습니다. 프로듀서와 컨슈머의 option 중 어떤 option이 Throughput에 영향을 주는지 알아보며 어떻게 이 옵션의 파라미터가 영향을 주며, 어떻게 설정해야

2021년 9월 9일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 성능 최적화 [1]

이번 포스팅은 아파치 카프카의 성능을 최적화 할 수 있는 파라미터 tunning 방법을 알아봅시다.4개의 성능 목표를 최적화하기 위해 변경해야 하는 Kafka 구성 매개변수가 있습니다. 사실 Kafka 디자인 자체는 사용자에게 구성 유연성을 제공하며 Kafka 배포가

2021년 9월 9일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 커밋(commit)과 offset [12]

이번 포스팅을 통해서 컨슈머의 커밋과 오프셋에 대해서 알아보도록 하겠습니다.카프카가 다른 메시지 큐 솔류션과 차별화되는 특징은 하나의 토픽에 대해 여러 용도로 사용할 수 있다는 점입니다. 일반적인 큐 솔로션은 특정 컨슈머가 메시지를 가져가면 큐에서 메시지가 삭제되어 다

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머 그룹(Consumer group) [11]

이번 포스팅을 통해서 컨슈머 그룹에 관해서 알아보겠습니다.일반적으로 컨슈머는 카프카 토픽에서 메시지를 읽어오는 역할을 합니다. 컨슈머 그룹은 하나의 토픽에서 여러 컨슈머 그룹이 동시에 접속해 메시지를 가져올 수 있습니다. 이것은 기존의 다른 메시징 큐 솔루션에서 컨슈머

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 파티션(partition)과 메시지 순서[10]

이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다.일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 토픽에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다.출력을 해본 결과 a부터 순

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) [9]

이번 포스팅을 통해서 아파치 카프카의 컨슈머(Consumer)에 대해 알아보겠습니다. 여기서 컨슈머는 토픽의 메시지를 가져와서 소비(consume)하는 역할을 하는 애플리케이션, 서버 등을 지칭하여 컨슈머라 일컫습니다. 이 컨슈머의 주요 기능은 특정 파티션을 관리하고

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 프로듀서(Producer) 설정에 따른 성능 [8]

이번 포스팅을 통해서 프로듀서의 옵션 중 acks 옵션을 어떻게 설정하는지에 따라서 카프카로 메시지를 전송할 때 메시지 손실 여부와 메시지 전송 속도 및 처리량 등이 달라지는지 자세히 살펴보겠습니다.메시지를 전송할 때 프로듀서는 카프카 서버에서 응답을 기다리지 않고,

2021년 9월 7일
·
0개의 댓글

아파치 카프카(Apache Kafka)의 프로듀서(Producer) [7]

이번 포스팅을 통해서 카프카의 토픽으로 메시지를 보내는 역할을 하는 프로듀서(Producer)의 주요 기능을 알아보고 주요 옵션에는 무엇이 있는지를 살펴보겠습니다.프로듀서의 주요 기능은 각각의 메시지를 토픽 파티션에 매핑하고 파티션의 리더에 요청을 보내는 것입니다. 키

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 고가용성과 리플리케이션(Replication) [6]

카프카는 분산 애플리케이션으로 서버의 물리적 장애가 발생하는 경우에도 높은 가용성을 보장합니다. 이를 위해 카프카는 리플리케이션(Replication) 기능을 제공합니다. 여기서 리플리케이션은 토픽을 하는 것이 아닌 파티션을 리플리케이션 하는 것입니다. 카프카에서는 리

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 데이터 모델 [5]

카프카가 고성능, 고가용성 메시징 애플리케이션으로 발전한 데는 토픽과 파티션이라는 데이터 모델의 역할이 있기 때문입니다.토픽은 메시지를 받을 수 있도록 논리적으로 묶은 개념이고, 파티션은 토픽을 구성하는 데이터 저장소로서 수평 확장이 가능한 단위입니다. 토픽은 메시지를

2021년 9월 7일
·
0개의 댓글

아파치 카프카(Apache Kafka)의 디자인 특징 [4]

REFERENCE 해당 글의 모든 레퍼런스는 "카프카, 데이터 플랫폼의 최강자" (고승범, 공용준 지음) 을 알립니다. https://coupa.ng/b5xV58 "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

2021년 9월 7일
·
0개의 댓글

아파치 카프카(Apache Kafka)의 특징 [3]

이전 포스팅을 통해서 카프카의 동작 방식과 원리를 알아보았습니다. 기존 Pub/Sub 모델과도 다른 메시징 시스템을 구성하고 있는데 자세히 살펴보도록 하겠습니다. 💎 기존 메시징 시스템과 차별화된 카프카 카프카는 기

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 동작 방식과 원리 [2]

카프카는 메시징 서버로 동작합니다. 여기서 메시징 시스템은 아래의 정의와 같습니다.메시징 시스템은 메시지라고 불리는 데이터 단위를 퍼블리셔(pubilsher), 프로듀서(producer)에서 카프카에 토픽(topic)이라는 각각의 메시지 저장소에 데이터를 저장하면, 서

2021년 9월 7일
·
0개의 댓글