개인 학습용으로 좋은 Confluent Kafka 설치 방법을 소개합니다.
설치 시간을 절약하여 kafka의 동작 원리를 이해하고
실무에서 kafka를 활용하여 개발을 할 수 있는 실력을 키워봅시다.

Confluent Kafka란

Apache Kafka를 기반으로 구축된 상용 배포판으로, 추가 기능 및 관리 도구를 제공합니다. Confluent는 Apache Kafka의 원 개발자들이 설립한 회사이며, Apache Kafka 커뮤니티에 적극적으로 기여하고 있습니다. 상용목적으로 사용시 유료이며 라이선스 비용을 지불해야 합니다.

Confluent Kafka VS Apache Kafka

Confluent Kafka는 Apache Kafka가 추가적으로 설치해야 하는 모듈이 기본적으로 포함되어 있습니다.

• Schema Registry: 데이터 스키마 관리 및 적용을 통해 데이터 무결성 보장
• Kafka Connect: 다양한 데이터 소스 및 싱크와의 손쉬운 통합
• KSQL: 스트림 처리 및 데이터 변환을 위한 SQL 인터페이스
• Confluent Control Center: Kafka 클러스터 모니터링 및 관리를 위한 웹 기반 UI
• Confluent Cloud: 완전 관리형 클라우드 서비스를 제공합니다.

설치 명령어

$ mkdir confluent-kafka
$ cd confluent-kafka
$ wget https://raw.githubusercontent.com/confluentinc/cp-all-in-one/7.7.0-post/cp-all-in-one-kraft/docker-compose.yml
$ docker-compose up -d

설치 완료 화면

Creating broker ... done
Creating schema-registry ... done
Creating rest-proxy      ... done
Creating connect         ... done
Creating ksqldb-server   ... done
Creating control-center  ... done
Creating ksql-datagen    ... done
Creating ksqldb-cli      ... done

confluent-kafka 프로세스 및 포트 확인

$ docker-compose ps
    Name                    Command               State                               Ports
--------------------------------------------------------------------------------------------------------------
broker            /etc/confluent/docker/run        Up      0.0.0.0:9092->9092/tcp,:::9092->9092/tcp,
                                                      0.0.0.0:9101->9101/tcp,:::9101->9101/tcp
connect           /etc/confluent/docker/run        Up      0.0.0.0:8083->8083/tcp,:::8083->8083/tcp, 9092/tcp
control-center    /etc/confluent/docker/run        Up      0.0.0.0:9021->9021/tcp,:::9021->9021/tcp
ksql-datagen      bash -c echo Waiting for K ...   Up
ksqldb-cli        /bin/sh                          Up
ksqldb-server     /etc/confluent/docker/run        Up      0.0.0.0:8088->8088/tcp,:::8088->8088/tcp
rest-proxy        /etc/confluent/docker/run        Up      0.0.0.0:8082->8082/tcp,:::8082->8082/tcp
schema-registry   /etc/confluent/docker/run        Up      0.0.0.0:8081->8081/tcp,:::8081->8081/tcp

• Kafka Producer, Consumer 명령어는 broker에서 연습
• Kafka log dir 은 broker에서 export 명령어를 통해 확인

Ref

Quick Start for Confluent Platform
Inflearn 카프카 완벽 가이드 - 코어편