# broker

[정보처리기사] 통합 구현 - 내외부 연계 모듈 구현
연계 모듈 기능 구현 개발하고자 하는 응용 SW와 연계 모듈 간의 세부 설계서를 확인하여 일관되고 정형화된 연계 기능을 구현 가능 연계 모듈 기능 구현은 주로 EAI/ESB 방식과 웹 서비스 방식으로 구분된다. EAI 방식 ( Enterprise Application

Kafka 의 주요기능
apache kafka 는 실시간으로 기록되는 스트림을 게시, 구독, 저장, 처리할 수 있는 분산형 이벤트 스트리밍 플랫폼이다.여러 소스에서 data 스트림을 처리하고,여러 사용자에게 전달하도록 설걔되었다. \- 즉, A 지점에서 B 지점까지 이동하는 것 외에 필

Chatper3. Kafka 기본 개념
broker, replication, controller, leader, follower, cordinator, topic, partition, record

Chatper2. Kafka 빠르게 시작해보기
kafka, zookeper, kafka-topic, kafka-console-producer, kafka-consele-consumer, kafka-consumer-groups

Chapter1. Kafka 서론
Kafka, 데이터 레이크, 배치 데이터, 스트림 데이터, 람다 아키텍처, 카파 아키텍처, 스트리밍 데이터 레이크 아키텍처
[Kafka] Consumer Group Rebalancing
컨슈머그룹에 컨슈머가 추가되거나 삭제되었을 때 카프카 브로커가 어떻게 동작하는지 알아보자.다음과 같은 상황을 가정한다컨슈머 그룹 이름 : schedule-log-group-test토픽 이름 : JobLogDev파티션 개수 : 3개컨슈머 개수 : 3개카프카 컨슈머의 특성

[Kafka] 내, 외부 통신 설정
개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정 외부에서 들어온 데이터를 내부에서 제공해야함 크롤러 url : 크롤러 Troubleshooting 외부의 데이터가 들어오지 않음 netstat -anlp :9200을 했을 때, 데이터가 들어오려는...
[Kafka] broker log 경로 변경
kafka Message server.properties 에서 설정하는 log.dir, log.dirs 는 kafka 에서 다루는 message 데이터의 경로를 가리킨다 Kafka docs link log.dir 의 기본값은 /tmp/kafka-logs, log.dir