카프카

위 처럼 메시징 시스템(Kafka)을 구성했을 때의 장점1\. 개체가 빠지거나 수신 불가능한 상태가 되어도 메시징 시스템만 살아있다면 프로듀서에게 전달된 메세지가 유실되지 않습니다. 이 메시지는 불능 상태의 개체가 다시 회복되면 언제든지 다시 가져갈 수 있습니다.2\.

Broker > Zookeeper 일 때

console에서 테스트 properties 파일 설정 Kafka를 설치한 후 Kafka 디렉토리에서 아래 경로에 server.properties가 있는 것을 확인할 수 있다. 나는 kraft/server.properties를 kraft/my-properties로 복사해서 설정을 변경해주었다. 아래 환경 설정 부분을 주목해야 한다. 사실 kafka가 로컬...

Kafka는 Kafka 클러스터의 메타데이터를 관리하는 Controller와 파티션 복제, 리더-팔로워 간 메세지를 동기화는 Broker, 메세지를 송/수신 하는 Client와 통신한다.어떻게 통신하는 걸까?참고로 현 상황은 EC2 인스턴스를 3개 실행하고 각 인스턴스

스트림 데이터 수집단계에서 내결함서을 높이기 위한 방법에는 체크포인팅, 로깅 2가지가 있다. 체크포인팅이란 시스템의 현재 상태를 저장하는 것을 의미한다. 체크포인트를 활용하여 장애 발생 시 저장된 시점부터 복구가 가능하다. Flink, Spark Structured S