MessageQueue

Kafka TopicsProducer and Message KeyConsumersConsumer GroupsKafka BrokersTopic ReplicationProducer AcknowledgementsZookeeperKRaftKafka는 데이터 스트리밍 플랫폼으로

토픽에 적재된 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리다!장애 허용시스템을 가지고 있어 데이터 처리 안정성이 뛰어나다내부적으로 스레드를 1개 이상 생성 가능하고 스레드는 1개 이상의 태스크를 가진다태스크: 스트림즈 어플리케이션을 실행하면 생기는 데이

Kafka 적정 Topic의 Partition 개수 -> 성능과 관련이 있다 고려할 점 데이터 처리량 메세지 키 사용 여부 브로커, 컨슈머 영향도 > 파티션은 카프카의 병렬처리의 핵심 => 파티션의 개수가 많아질 수 록 1:1 매핑되는 컨슈머 개수가 늘어나기 때문

카프카는 처리량을늘리기 위해 파티션과 컨슈머 개수를 늘려서 운영할 수 있다. 파티션을 여러 개로운영하는 경우 데이터를 병렬처리하기 위해서 파티션 개수와 컨슈머 개수를 동일하게 맞추는 것이 가장 좋은 방법파티션 개수가 n개라면 동일 컨슈머 그 룹으로 묶인 컨슈머 스레드를