Kafka Consumer CLI

Kafka Topic 데이터 Consume 방법

• 과거 데이터를 읽어야 하는 경우 --from-beginnning 옵션 사용
• 그렇지 않으면 미래의 데이터만 읽게 됩니다.
• kafka-console-consumer.sh CLI 사용

CLI 사용법

미래 메시지만 consume 방법

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic first_topic

모든 메시지 consume(과거, 미래)방법

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic first_topic --from-beginning

ouput

Hello World

• 기본적으로 Kafka console consumer는 key 또는 partition 정보를 표시하지 않습니다.

메시지 순서에 대한 참고사항
메시지 순서는 전체가 아닌 파티션 단위로 지정됩니다. topic은 하나 이상의 파티션으로 생성될 수 있기 때문에 순서는 파티션 수준에서만 보장됩니다.

주의할 점

1. 기본적으로 메시지에는 key 또는 메타데이터 정보가 표시되지 않습니다.
2. --from=beginning 옵션을 지정하지 않는 한, 미래 메시지만 표시되고 읽혀집니다.
3. topic이 존재하지 않으면 consumer는 기본값으로 topic을 생성합니다.
4. consumer group ID를 지정하지 않으면 임의의 consumer group이 생성됩니다.

CLI로 key, value 보여주는 방법

기본적으로 console consumer는 레코드의 value만 표시합니다.
아래 명령을 통해 key, value 모두 표시할 수 있습니다.
formatter kafka.tools.DefaultMessageFormatter를 이용하고, print.timestamp=true print.key=true print.value=true 옵션 상용

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic first_topic --formatter kafka.tools.DefaultMessageFormatter --property print.timestamp=true --property print.key=true --property print.value=true --from-beginning