strimzi docs 정리해보기...

SquidEngineer·2024년 5월 21일
0

Kafka

목록 보기
4/4

strimzi의 docs가 어렵기도 하고 pdf로 출력하려니까 550페이지라... 대충이라도 정리해보려고 한다...

1. Custom Resource Info

2. Strimzi 설치방법

  • Installation artifacts (YAML file)
    • github에서 strimzi-.zip이나 tar.gz를 다운받아 직접 설치
    • 가장 유연함
  • OperatorHub.io
    • 표준 구성을 제공하며 자동 업데이트를 활용할 수 있음
  • Helm chart
    • 애플리케이션 설치를 편리하게 관리할 수 있음

3. Strimzi와 함께 배포되는 것들

  • Kafka : 브로커 노드의 클러스터
  • Zookeeper : 복제된 zk 인스턴스의 클러스터
  • Kafka Connect : 외부 데이터 연결을 위한 클러스터
  • Kafka Exporter : 보조 클러스터에서 Kafka 클러스터를 미러링하기 위함

4.5. Strimzi 관리자 지정

5.3.1. NodePool을 사용해서 Kafka 클러스터 배포

example code에서 제공하는 샘플 코드는 다음과 같다.

  • kafka/kafka-with-node-pools.yaml
    3개의 노드와 2개의 서로 다른 Kafka broker들의 pool로 ZooKeeper를 배포하며 각 pool에는 3개의 브로커가 있다. 이 예제의 pool은 서로 다른 스토리지 구성을 사용한다.

  • kafka/kraft/kafka-with-dual-role-nodes.yaml
    브로커와 컨트롤러 역할을 공유하는 하나의 KRaft 노드 pool로 구성된 KRaft 기반 Kafka 클러스터를 배포합니다.

  • kafka/kraft/kafka.yaml
    하나의 "controller nodes" pool과 하나의 "broker nodes" 풀로 구성된 Persistent KRaft 기반 Kafka 클러스터를 배포합니다.

  • kafka/kraft/kafka-ephemeral.yaml
    하나의 컨트롤러 노드 풀과 하나의 브로커 노드 풀로 구성된 임시 KRaft 기반 Kafka 클러스터를 배포합니다.

  • kafka/kraft/kafka-single-node.yaml
    단일 노드로 KRaft 기반 Kafka 클러스터를 배포합니다.

  • kafka/kraft/kafka-jbod.yaml
    각 브로커 노드에 여러 개의 볼륨이 있는 KRaft 기반 Kafka 클러스터를 배포합니다.

각 예제의 Kafka 리소스 구성에는 노드 풀을 사용할 때 필요한 strimzi.io/node-pools: enabled 어노테이션이 포함되어 있습니다. KRaft 모드를 사용하는 Kafka 리소스에도 strimzi.io/kraft: enabled 어노테이션이 있어야 합니다.

10.1. 예제 구성 파일 사용

  1. KafkaUser : User Operator가 관리하는
profile
유연한 사고의 데이터 엔지니어입니다

0개의 댓글