kafka 운영
1.Kafka 완전 기본 개념을 알아보자
1. Kafka? - 이벤트 스트리밍 시스템 사이에서 대용량 메세지를 지속적으로 넣어지고 빼지기를 하기 위한 메세징 큐 종류 실시간 비동기 처리 시스템
2.Kafka Single 구축에 대해서 알아보자
OS : CentOS Linux release 7.9.2009 (Core)Kafka : 2.6.0wget 명령어로 tgz 파일을 받아온다.wget http://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
3.kafka Cluster 구축에 대해서 알아보자
OS : CentOS Linux release 7.9.2009 (Core)Kafka : 2.6.0wget 명령어로 tgz 파일을 받아온다.wget http://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
4.kafka topic 구성 및 cluster Rebalancing 에 대해 알아보자
Kafka : 2.6.0구성 : cluster./kafka-topics.sh --describe --bootstrap-server server1:9092,server2:9092,server3:9092 --topic karim-cluster-topichttps:
5.kafka consumer auto.offset.reset 옵션을 알아보자
Kafka : 2.6.0구성 : singleconsumer가 kafka에서 해당 topic의 메세지를 어디까지 구독했는지 저장하는게 offset 이다.하지만 consumer가 topic의 데이터를 처음부터 읽어야 하는 경우가 생긴다.이럴 때 auto.offset.res
6.Kafka cluster 구성일 시 __consumer_offset topic의 reader, replicas, Isr가 하나로 설정 되어 있을 때 해결방안을 알아보자!
1. Version 💬 Kafka : 2.6.0 2. 문제원인 및 방안 💬 원인 kafka를 single 서버로 구축 한 후 그 dir를 그대로 cluster로 구축 하려고 3대의 서버에 올리고 실행시켜서 발생한 듯 하다. 구축자 실수! Kafka cluster
7.kafka 에서 Connection to node -1 (/ip:port) could not be established. Broker may not be available. 해결방안을 알아보자!
1. Version 💬 Kafka : 2.6.0 2. 문제원인 및 방안 💬 원인 kafka를 docker로 올린 후 9092 port를 다른 port로 포트포워딩 한 후 advertised.listeners 옵션을 설정 하지 않아서 발생!! !!!구축자 실수!!!
8.Kafka Streams를 알아보자!
토픽에 적재된 데이터를 실시간으로 처리하고 분석하기 위한 라이브러리다.데이터를 변환, 필터링, 집계 등 분석할 수 있다.filter(), map(), groupBy() 등 다양한 처리, 집계 함수를 제공State Store 사용으로 메시지 키 별, 시간 간격 별 등으로
9.Kafka acl SASL/PALIN 인증 설정을 해보자!
Kafka : 2.6.0(SASL 아키텍처)SASL 은 연결 지향 프로토콜에서 교체 가능한 메커니즘을 통해 인증 및 데이터 보안 서비스를 제공하는 프레임워크이다.Kafka 프로토콜이 데이터 교환 과정에서 Kafka가 지원하는 Kerberos, PLAIN, SCRAM,