# broker

11개의 포스트
post-thumbnail

[정보처리기사] 통합 구현 - 내외부 연계 모듈 구현

연계 모듈 기능 구현 개발하고자 하는 응용 SW와 연계 모듈 간의 세부 설계서를 확인하여 일관되고 정형화된 연계 기능을 구현 가능 연계 모듈 기능 구현은 주로 EAI/ESB 방식과 웹 서비스 방식으로 구분된다. EAI 방식 ( Enterprise Application

약 9시간 전
·
0개의 댓글
·
post-thumbnail

Kafka 의 주요기능

apache kafka 는 실시간으로 기록되는 스트림을 게시, 구독, 저장, 처리할 수 있는 분산형 이벤트 스트리밍 플랫폼이다.여러 소스에서 data 스트림을 처리하고,여러 사용자에게 전달하도록 설걔되었다. \- 즉, A 지점에서 B 지점까지 이동하는 것 외에 필

2023년 6월 18일
·
0개의 댓글
·
post-thumbnail

Chatper3. Kafka 기본 개념

broker, replication, controller, leader, follower, cordinator, topic, partition, record

2023년 5월 14일
·
0개의 댓글
·
post-thumbnail

Chatper2. Kafka 빠르게 시작해보기

kafka, zookeper, kafka-topic, kafka-console-producer, kafka-consele-consumer, kafka-consumer-groups

2023년 5월 7일
·
0개의 댓글
·
post-thumbnail

Chapter1. Kafka 서론

Kafka, 데이터 레이크, 배치 데이터, 스트림 데이터, 람다 아키텍처, 카파 아키텍처, 스트리밍 데이터 레이크 아키텍처

2023년 5월 7일
·
0개의 댓글
·

[Kafka] Consumer Group Rebalancing

컨슈머그룹에 컨슈머가 추가되거나 삭제되었을 때 카프카 브로커가 어떻게 동작하는지 알아보자.다음과 같은 상황을 가정한다컨슈머 그룹 이름 : schedule-log-group-test토픽 이름 : JobLogDev파티션 개수 : 3개컨슈머 개수 : 3개카프카 컨슈머의 특성

2023년 2월 4일
·
0개의 댓글
·
post-thumbnail

Mac) MQTT mosquitto 설치 & 테스트

MQTT mosquitto를 설치하고, 메세지를 주고 받아보자

2023년 1월 4일
·
0개의 댓글
·
post-thumbnail

[Kafka]Broker, Replication, ISR

시켜줘 데이터의 명예소방관.. 데이터의 소실을 막아줄 녀석들과 서버쓰

2022년 11월 14일
·
0개의 댓글
·
post-thumbnail

[Kafka] 내, 외부 통신 설정

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정 외부에서 들어온 데이터를 내부에서 제공해야함 크롤러 url : 크롤러 Troubleshooting 외부의 데이터가 들어오지 않음 netstat -anlp :9200을 했을 때, 데이터가 들어오려는...

2022년 6월 27일
·
0개의 댓글
·

[Kafka] broker log 경로 변경

kafka Message server.properties 에서 설정하는 log.dir, log.dirs 는 kafka 에서 다루는 message 데이터의 경로를 가리킨다 Kafka docs link log.dir 의 기본값은 /tmp/kafka-logs, log.dir

2021년 12월 29일
·
0개의 댓글
·