Docker Kafka 설치(단일)

yoon__0_0·2024년 9월 3일
0

프로젝트

목록 보기
3/7
  1. Docker 설치
  2. kafka docker image
  • kafka kraft 모드 사용 가능한 이미지
    kafka kraft Docker 참조 링크
  • Kafka Connect 사용 가능한 이미지
  • confluentinc/cp-kafka 이를 이용하기로 결정 ( Docker Hub)
  • Confluent 이미지를 추가로 사용하기 편리함
    • Kafka 브로커와 함께 cp-schema-registry, cp-kafka-connect, cp-ksql 등의 이미지를 사용하여 전체 데이터 스트리밍 솔루션을 구축가능
  • Version : docker pull confluentinc/cp-kafka:7.7.0
  • 안정화된 모드로활용

kafka Kfaft mode

Zookeeper의 한계
  • Kafka 자체가 아닌 외부에서 메타데이터를 관리하여 Kafka 확장성에 제한
  • 데이터 중복, 브로커의 메타데이터와 Zookeeper의 메타데이터 불일치, 시스템 복잡성 증가, 서버/시스템 추가 필요 등

Kraft Mode

  • Zookeeper를 사용하지 않은 카프카 모드
  • 이를 통해 Kafka를 단순하게 활용할 수 있으며, 확장성, 안정성, 일관성에 도움이 됨.
  • 자체 관리 시스템으로 메타데이터의 일관성과 안정성 보장
  • 2019년에 발의 되었으며, kafka 2.8버전에서 주키퍼 없이 카프카를 구동할수 있도록 추가됨.

  • 카프카 도커 설치(클러스터 X) 단일
    Confluent 공식 홈페이지
  • 공식 홈페이지에서 7.7.0 버전을 사용하여서 그걸로 선택!
profile
신윤재입니다

0개의 댓글