[Kafka] topic 유지하며 메시지 삭제하기

kafka topic, partition 별 offset 조회하기

• kafka-get-offsets.sh 스크립트로 topic offset 정보 조회
  • --partitions or --topic-partitions 로 partition 지정 가능

./bin/kafka-get-offsets.sh --bootstrap-server localhost:9092 --topic test.topic

topic partition 별 메시지 삭제하기

• 삭제할 topic, partition, offset 값이 담긴 JSON 파일 작성
  • 각 partition 별로 0 ~ 지정된 offset 까지의 메시지를 삭제한다.
  • offset 값이 실제 offset 값보다 큰 경우 삭제가 일어나지 않기 때문에 적절한 값을 입력

 {"partitions": [
    {"topic": "test.topic", "partition": 0, "offset": 123},
    {"topic": "test.topic", "partition": 1, "offset": 124},
    {"topic": "test.topic", "partition": 2, "offset": 125},
    {"topic": "test.topic", "partition": 3, "offset": 130}
    ],
 "version":1 }

• kafka-delete-records.sh 스크립트로 메시지를 삭제한다.
  • 삭제되는 메시지는 모두 유실되기 때문에, 신중하게 사용하길 권고드립니다.

bin/kafka-delete-records.sh --bootstrap-server localhost:9092 --offset-json-file delete-topic.json