[Kafka] topic 유지하며 메시지 삭제하기

Woong·2023년 1월 19일
0

Apache Kafka

목록 보기
14/14

kafka topic, partition 별 offset 조회하기

  • kafka-get-offsets.sh 스크립트로 topic offset 정보 조회
    • --partitions or --topic-partitions 로 partition 지정 가능
./bin/kafka-get-offsets.sh --bootstrap-server localhost:9092 --topic test.topic

topic partition 별 메시지 삭제하기

  • 삭제할 topic, partition, offset 값이 담긴 JSON 파일 작성
    • 각 partition 별로 0 ~ 지정된 offset 까지의 메시지를 삭제한다.
    • offset 값이 실제 offset 값보다 큰 경우 삭제가 일어나지 않기 때문에 적절한 값을 입력
 {"partitions": [
    {"topic": "test.topic", "partition": 0, "offset": 123},
    {"topic": "test.topic", "partition": 1, "offset": 124},
    {"topic": "test.topic", "partition": 2, "offset": 125},
    {"topic": "test.topic", "partition": 3, "offset": 130}
    ],
 "version":1 }
  • kafka-delete-records.sh 스크립트로 메시지를 삭제한다.
    • 삭제되는 메시지는 모두 유실되기 때문에, 신중하게 사용하길 권고드립니다.
bin/kafka-delete-records.sh --bootstrap-server localhost:9092 --offset-json-file delete-topic.json

0개의 댓글