나머지 커맨드 라인 툴

유현민·2022년 9월 28일
0

kafka

목록 보기
10/12
post-thumbnail

kafka-producer-perf-test.sh

  • 카프카 프로듀서로 퍼포먼스를 측정할 때 사용

bin/kafka-producer-perf-test.sh --producer-props bootstrap.servers=my-kafka:9092 --topic 토픽이름 --num-records 숫자 -- throughput 숫자 --record-size 숫자 --print-metric

kafka-consumer-perf-test.sh

  • 카프카 컨슈머로 퍼포먼스를 측정할 때 사용, 네트워크를 체크할 때 사용 가능

bin/kafka-consumer-perf-test.sh --bootstrap-server my-kafka:9092 --topic 토픽 --messages 숫자 --show-detailed-stats

kafka-reassign-partitions.sh

  • 리더 파티션과 팔로워 파티션의 위치를 변경할 수 있다.

  • 카프카 브로커에는 auto.leader.rebalance.enable 옵션이 있는데 기본값은 true 클러스터 단위에서 리더 파티션을 자동 리밸런싱하도록 도와준다.

  • 브러커의 백그라운드 스레드가 일정한 간격으로 리더의 위치를 파악하고 필요시 리더 리밸런싱을 통해 리더의 위치가 알맞게 배분된다.

partitions.json

{
	"partitions":
    [ { "topic": "hello.kafka", "partition": 0, "replicas": [ 0 ] } ]
    , "version": 1

bin/kafka-reassign-partitions.sh --zookeeper my-kafka:2181 --reassignment-json-file partitions.json --execute

kafka-delete-record.sh

  • 레코드 삭제가 아니다.

  • 워터마크 표시와 같음

  • 해당 오프셋 까지의 데이터를 지우겠다.

delete.json

{
	"partitions" [
    	{
        	"topic": "hello.kafka", "partition": 0, "offset": 5
        }
    ], "version": 1
}

bin/kafka-delete-records.sh --bootstrap-server my-kafka:9092 --offset-json-file delete.json

kafka-dump-log.sh

  • log 확인

  • 프로듀서로 보낸 데이터가 어떤 오프셋에 저장되어 있고 잘 설정 되어 있는지

bin/kafka-dump-log.sh --files 로그 경로 --deep-iteration

profile
smilegate megaport infra

0개의 댓글