Kafka

Data in Motion Platform (Event Streaming Platform)카프카는 실시간으로 흐르는 이벤트 스트림을 받고 필요한 곳에 이벤트 스트림을 보내주는 플랫폼Event란? Event는 비즈니스에서 일어나는 모든 일(데이터)를 의미 (클릭, 송금,

1. Broker, Zookeeper 개념 Kafka Broker Topic과 Partition을 유지 및 관리 Partition에 대한 Read Write를 관리하는 소프트웨어 Topic 내의 Partition들을 분산, 유지 및 관리 각각의 Broker들은 ID로

장애를 대비하기 위한 기술 Partition을 복제하여 다른 Broker상에서 복제물을 만들어서 장애를 미리 대비함 Replicas - Leader, FollowerProducer는 Leader에만 Write하고 Consumer는 Leader로부터만 Read함Follo

1. Producer Ack, Batch, Page Cache, Flush Producer는 메시지가 잘 도착했는지 어떻게 알까? Producer Ack를 통해 메시지 도착 여부 확인함 acks 설정은 요청이 성공할 때를 정의하는데 사용되는 Producer에 설정하는

1. Replica Recovery ack=all의 중요성 acks = all인 상황 acks = 1인 상황 가용성과 내구성 중 선택 Topic 파라미터 - unclean.leader.election.enable ISR 리스트에 없는 Replica를 leader

1. Partition Assignment Strategy Partition Assignment Strategy Consumer의 설정 파라미터 중에서 partition.assignment.strategy로 할당 방식 조정 > 1. org.apache.kafka.cli