# kafka
Kafka 커맨드 라인 명령어
이 포스팅은 카프카 관련 애플리케이션 제작 과정에서 커맨드 라인 명령어를 반복적으로 치게되면서 한번 정리하면 좋겠다 싶어서 정리하였습니다. (지속적으로 내용은 추가할 예정입니다.) ※ 포스팅에 쓰인 my-kafka는 EC2 인스턴스 발급시 생성되는 ip를 의미합니다.
Kafka Producer Application 구현하기 1
1. Basic Producer Application 여기서는 가장 기본적인 프로듀서의 기능만을 하는 프로듀서 애플리케이션을 직접 작성해볼 것이다. 1) EC2에 Kafka를 설치하기 이전에 작성한 포스팅인 AWS EC2에 Kafka 설치하기를 참고하여 EC2에 카프카
장애에 대응하는 Kafka
여러 종류의 장애에 대응하는 카프카.. 레코드의 장애 대처 파티션의 장애 대처 브로커의 장애 대처 일반적으로 클러스터의 다수 브로커 중 한 대의 브로커는 컨트롤러의 역할을 하게 된다. 클러스터의 브로커 중 컨트롤러가 아닌 브로커에 장애 발생시, 컨트롤러는 ① 클러
Kafka 스트림즈 알아보기
이번 포스팅은 [도서] 아파치 카프카 애플리케이션 프로그래밍 with 자바를 베타리딩하며 개인적으로 가장 어렵게 느꼈던 스트림즈에 대해 이해하고 구현해보려 합니다. 1. 카프카 스트림즈 1) 카프카 스트림즈란? 토픽에 적재된 데이터를 처리하고 분석하기 위한 라이브러리
Kafka 스트림즈 구현하기 (스트림즈 DSL, 프로세서 API)
이번 포스팅에서는 카프카 스트림즈를 간단한 예제로 스트림즈 DSL과 프로세서 API를 구현해보려 합니다. 이런 스토리로 예제를 구현해보겠습니다. 학생들의 시험 성적 데이터를 담고 있는 Topic인 user_score가 있다고 합니다. 하지만 이 시험은 10점을 초과해야
Kafka 시스템 구조 알아보기
- Kafka 관련 이전 포스팅 1) AWS EC2에 Kafka 설치하기 Kafka를 공부하다 보면 여러 용어들을 볼 수 있습니다. 어딘지 모르게 익숙한 용어인 Cluster 부터 생소한 Zookeeper나 Topic 같은 용어들이 있습니다. 실제 데이터 처리를 할
AWS EC2에 Kafka 설치하기
이번 포스팅의 목표는 아래와 같습니다. AWS EC2에 Kafka 설치하기. Kafka에 topic 생성하기. Kafka에 데이터 produce 하기. Kafka에서 데이터 consume 하기. 0. 작업 환경 및 서버 정보 | Name | Main Info | 기
Apache Kafka Basic
Kafka Basic Apache Kafka의 기본적인 내용만 다루겠습니다. Apache Kafka 문서에서 Kafka에 대한 정의는 다음과 같다. Apache Kafka is an open-source distributed event streaming pla
[Apache Kafka] Docker를 이용한 zookeeper, kafka 실행
https://miiingo.tistory.com/196
[Kafka] 카프카 간단 요약
카프카는 2011년 미국 LinkedIn에서 개발된 오픈소스이며, 여러 대의 분산 서버를 통해 데이터를 수집하고, 수집된 데이터를 다른 시스템에 보내는 메세징 시스템이다. 높은 처리량을 통한 실시간 데이터 처리, 다양한 제품과의 시스템 연계, 메세지의 신뢰성을 보장하여
Apache Kafka - CLI
Topickafka-topics.sh --zookeeper localhost:2181 --topic first_topic --create --partitions 3 --replication-factor 1kafka-topics.sh --zookeeper localhos
Kafka 기능
지금도 많이 늦었지만 지금이라도메시지 분산 시스템을 공부해야지 추후 고도화 작업등에서도 유리하게 적용이 가능할거같다...Kafkapub/sub 모델을 지원하는 메시지 시스템분산형 시스템이 가지는 기능 실시간 처리 (손실없이 전달가능)메시지가 보관이되서 다른쪽 접속이 끊
docker 에서 kafka 명령어
docker 접속하기 위해서 우분투에서 git- clone 해서 만든 kafka-docker 폴더 로 접속그안에 만들어논 yml 파일을 구동docker-compose -f docker-compose-single-broker.yml -> yml이 파일 명 docke
Apache Kafka - 기본개념
일반적인 IT 시스템 기반에 서비스를 제공하는 플랫폼 등에서 발생되는 데이터를 처리한다고 가정해보자. 아래와 같이 시스템이 복잡해짐에 따라 데이터를 제공하는 시스템(=Source System)의 수와 데이터를 제공받는 시스템(=target system)의 수가 증가함에
[kafka] 1.kafka
Apache 만든 메시지 큐로 대용량 실시간 로그 처리에 특화되어 설계 되어 있으며, 메시지를 메모리에 저장하는 기존 메시지 큐 시스템과 다르게 Kafka는 파일 시스템에 저장하여 파일의 유실 우려가 적음.또한 기존의 메시지 큐 시스템은 broker가 consumer
Apache Kakfa
전통적인 엔터프라이즈 메시징 시스템의 대안으로 하루에 1조 4천억 건의 메시지를 처리하기 위해 LinkedIn이 개발한 내부 시스템으로 시작했으나, 현재 이는 다양한 기업의 요구사항을 지원하는 애플리케이션을 갖춘 오픈소스 데이터 스트리밍 솔루션이다.실시간으로 기록 스트
오더러에 사용되는 Kafka에 대해서..
하이퍼레저 패브릭에서 오더러는 방대한 양의 트랜잭션을 검증하고 이들을 모아서 블록을 생성한다.이때 트랜잭션이 많아지면 오버헤드가 걸리게 되고, 이를 위해 MQ Solution(message queue)인 solo와 kafka방식을 사용한다.이중에서 kafka방식에 대해
[무작정] Docker + Kafka
0. 준비 docker와 docker-compose에 대한 이해 1. Kafka와 Docker Kafka란 Producer(Leader/Follower) -> Broker -> Consumer 뛰어난 호환성 리더 관리를 위해 Zookeeper와 함께 사용
