KAFKA 맨날까먹는것

0. 카프카 실행

./kafka-server-start.sh ../../config/server.properties

1. 카프카 토픽 생성

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic {topicName}

2. 토픽 확인

./kafka-topcis.sh --list --zookeeper localhost:2181

3. 그룹확인

./kafka-consumer-groups.sh --list --bootstrap-server {IP}:9092

4. 컨슈머 콘솔에서 토픽 읽기

./kafka-console-consumer.sh --bootstrap-server {IP}:9092 --topic {topicName} --from-beginning

5. 특정 그룹 offset확인

./kafka-consumer-groups.sh --bootstrap-server {IP}:9092 --describe --group abc

6. 특정 그룹의 특정 토픽 offset 설정

./kafka-consumer-groups.sh \
--bootstrap-server {IP}:9092 \
--group {group} 
--topic {topic} \
--reset-offsets --to-latest --execute

결과

--to-offset n
--to-earlist
--shift-by n

등으로 offset 설정 가능

7. 특정 그룹의 특정 토픽 특정 시간대로 offset 설정

./kafka-consumer-groups.sh \
--bootstrap-server 182.193.17.35:9092 \
--group {group} \
--reset-offsets \
--topic {topic} \
--to-datetime 2020-12-02T00:00:00.000+09:00

• kafka client가 낮으면 kafka에 offset을 저장하는게 아니라 zookeeper에 저장함.
  그럴때는 zookeeper에서 해당 작업을 해줘야함