Kafka

높은 처리량보낼 때와 받을 때 모두 배치로 묶어서 네트워크 전송이 가능하다.파티션 개수만큼 컨슈머 개수를 늘려서 동일 시간당 데이터 처리량을 늘릴 수 있다.확장성데이터의 상황에 맞게 브로커의 갯수를 늘리거나(scale-out) 줄여 (scale-in)할 수 있다.스케일

1\. Producer RecordTopic, Value (required)Send()SerializerConsumer는 Deserializer를 사용Partitioner메시지를 Topic의 어떤 Partition으로 보낼지 결정Key가 null이 아닐 때 : Part

ProducerRecord : 프로듀서에서 생성하는 레코드, 오프셋은 미포함send() : 레코드를 전송하는 요청 메서드Partitioner : 어느 파티션으로 전송할지 지정하는 파티셔너. 기본값으로 DefaultPartitioner로 설정Accumulator: 배치로

Fetcher : 리더 파티션으로부터 레코드를 미리 가져와서 대기poll() : Fetcher에 있는 레코드 들을 리턴하는 레코드ConsumerRecords : 처리하고자 하는 레코드들의 모음. 오프셋이 포함되어 있다.하나의 Consumer Group에서의 Partit

카프카 오픈소스에 포함된 툴 중 하나로 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션이다.커넥트는 특정한 작업 형태를 템플릿으로 만들어놓은 커넥터(connector)를 실행함으로써 반복 작업을 줄일 수 있다.카프카 커넥트는 한번