kafka) bitnami kafka 설정

배경

kafka 는 db처럼 데이터를 삭제하지않는다. 하지만 내가 원하는 값이 여러개가 있을 수 있다. MSA 에서 사용하는만큼 결합도를 낮추기 위해선 데이터가 유일성을 띄워야한다고 생각한다. 따라서 이벤트(변경,삭제) 등이 이루어진다면 업데이트를 할 필요성 을 느꼈고 compact 정책을 도입할 예정이다.

기본경로 정리

kafka 를 docker 로 띄우기때문에 회사마다 경로가 다르다 내가 사용하는 bitnami 의 경로를 정리해뒀다. 겹치는 부분도 있지만 편리하게 사용하기 위해 정리

kafka topic 경로

/opt/bitnami/kafka/bin/kafka-topics.sh 

config 경로

/opt/bitnami/kafka/config/

Producer 경로

/opt/bitnami/kafka/bin/kafka-console-producer.sh

consumer 경로

/opt/bitnami/kafka/bin/kafka-console-consumer.sh

topic 관리

topic 목록 보기

--bootstrap-server localhost:9092 --list

topic 정책 설정하기

기존 정책 변경

topic 경로로 이동후 명령어

 kafka-configs.sh --alter --bootstrap-server localhost:9092 --entity-type topics --entity-name exam --add-config "cleanup.policy=compact"

topic 정보 확인

topic 경로로 이동후 명령어

kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic exam

compact 로변경 된걸 확인