kafka - 프로듀서

프로듀서

• 데이터의 시작점

• 카프카에 필요한 데이터를 선언하고 브로커의 특정 토픽의 파티션에 전송

• 데이터를 전송할 때 리더 파티션을 가지고 있는 카프카 브로커와 직접 통신한다.

• 카프카 브로커로 데이터를 전송할 때 내부적으로 파티셔너, 배치 생성 단계를 거친다.
  

내부 구조

• ProducerRecord -> 프로듀서에서 생성하는 레코드. 오프셋은 미포함

• send() -> 레코드 전송 요청 메서드

• Partitioner -> 어느 파티션으로 전송하지 지정하는 파티셔너. 기본 : DefaultPartitioner

• Accumulator -> 배치로 묶어 전송할 데이터를 모으는 버퍼

오프셋은 카프카의 특정 파티션에 저장되고 나서 지정된다.

파티셔너