- Docker 설치
- kafka docker image
- kafka kraft 모드 사용 가능한 이미지
kafka kraft Docker 참조 링크
- Kafka Connect 사용 가능한 이미지
- confluentinc/cp-kafka 이를 이용하기로 결정 ( Docker Hub)
- Confluent 이미지를 추가로 사용하기 편리함
- Kafka 브로커와 함께 cp-schema-registry, cp-kafka-connect, cp-ksql 등의 이미지를 사용하여 전체 데이터 스트리밍 솔루션을 구축가능
- Version : docker pull confluentinc/cp-kafka:7.7.0
- 안정화된 모드로활용
kafka Kfaft mode
Zookeeper의 한계
- Kafka 자체가 아닌 외부에서 메타데이터를 관리하여 Kafka 확장성에 제한
- 데이터 중복, 브로커의 메타데이터와 Zookeeper의 메타데이터 불일치, 시스템 복잡성 증가, 서버/시스템 추가 필요 등
Kraft Mode
- Zookeeper를 사용하지 않은 카프카 모드
- 이를 통해 Kafka를 단순하게 활용할 수 있으며, 확장성, 안정성, 일관성에 도움이 됨.
- 자체 관리 시스템으로 메타데이터의 일관성과 안정성 보장
- 2019년에 발의 되었으며, kafka 2.8버전에서 주키퍼 없이 카프카를 구동할수 있도록 추가됨.