Kafka

실시간으로 대용량 테이터를 게시, 구독, 저장 및 처리할 수 있는 분산 이벤트 스트리밍 플랫폼카프카 서버를 의미클러스터 내에 여러개의 브로커가 구성될 수 있다브로커 내부에 여러 토픽들이 생성될 수 있고 이러한 토픽들에 의해 생성된 파티션들이 보관하는 데이터에 대해 분산

토픽, 파티션, 레코드, 오프셋카프카에서 데이터를 저장하는 곳데이터를 구분하기 위해 사용하는 단위토픽에는 한 개 이상의 파티션이 존재

통신 방식다른 메세지 큐와 다르게 리더가 push해서 복제하는 것이 아닌 팔로워가 pull 해서 메세지를 복제하는 방식팔로워는 리더에게서 가져간 message를 다 복제하면 리더에게 해당 사항을 공지이러한 방식을 사용했기 때문에 리더와 팔로워 간의 복제 동작이 매우 빠

토픽의 최신 오프셋(LOG-END-OFFSET)과 컨슈머 오프셋(CURRENT-OFFSET)의 차이를 뜻함컨슈머 랙은 컨슈머 그룹과 토픽(파티션)별로 생성됨프로듀서는 계속해서 새로운 데이터를 파티션에 저장하고 컨슈머는 자신이 처리할 수 있는 만큼의 데이터를 소비를 하게