Message Queue (Kafka)

MQ는 어떤 장점이 있고 왜 사용하는지에 대한 포스트 입니다. Case 1. 한가지 시나리오를 생각해보자. 시스템 A 는 시스템 B,C,D 에게 동일한 데이터를 전송중이다. 만약 시스템 E도 이 데이터를 원한다면 어떻게 될까? 만약 시스템 C가 이 데이터를 더이상 원

카프카(kafka)는 메세지큐의 대표적인 솔루션 중 하나이다. 링크드인에서 개발했으며 현재는 오픈소스로 공개되어있어 데이터 파이프라인 구축을 위해 많은 사람들이 사용하고 있다. 카프카 기본 구조 카프카는 크게 브로커, 컨슈머, 프로듀서 세가지 컴포넌트로 구성된다.

replication replication 은 말 그대로 복제를 말합니다. 기본적으로 카프카는 파티션에 데이터를 저장합니다. 만약 운영중인 브로커가 다운된다면 해당 브로커에 있는 파티션은 사용할 수 없게 됩니다. 이를 방지하기 위해 카프카는 각 파티션을 복제(replication) 할 수 있는 기능을 제공합니다. replication 만들기 카프카는 토...

ISR(In-Sync-Replica) 카프카는 리더 파티션(=원본) 과 팔로워 파티션(=복제본) 을 합쳐 ISR(In-Sync-Replica) 이라는 그룹으로 묶고 브로커에 장애가 생긴경우 리더-팔로워 간의 승격을 ISR 단위로 관리합니다. 리더 파티션: 원본 파티션