Kafka - 설치법 및 기본적인 명령어

설치

http://kafka.apache.org [apache kafka]

apache kafka 홈페이지에 접속해줍니다.

상단에 DOWNLOAD KAFKA를 눌러줍니다.

해당 버전을 받아줍니다.

HTTP로 받아주겠습니다.

받은 뒤 해당 파일을 압축을 풀어줍니다.

설정

vi /kafka_2.13-3.2.0/config/server.properties

해당 경로의 설정파일을 열어

해당 부분의 주석을 풀고 listeners inbound 설정을 해줍니다.

에러 발생

저는 listeners 설정을 해주지 않아 위와같이

• Client requested connection close from node 0 (org.apache.kafka.clients.NetworkClient)
• Node 0 disconnected.
• Connection to node 0 (/218.38.137.27:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

같은 현상이 일어나고 kafka를 사용할 수 없었습니다.

명령어

~/kafka_2.13-3.2.0/bin/zookeeper-server-start.sh ~/kafka_2.13-3.2.0/config/zookeeper.properties

zookeeper.properties 정보를 가지고 Zookeeper 서버를 기동합니다.

~/kafka_2.13-3.2.0/bin/kafka-server-start.sh  ~/kafka_2.13-3.2.0/config/server.properties

server.properties 정보를 가지고 Kafka 서버를 기동합니다.

~/kafka_2.13-3.2.0/bin/kafka-topics.sh --create --topic example-events --bootstrap-server localhost:9092 --partitions 1

localhost:9092 서버에 quickstart-events 란 Topic을 생성하는 명령어입니다.

~/kafka_2.13-3.2.0/bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

localhost:9092 서버에 만들었던 Topic을 확인할 수 있는 명령어입니다.

~/kafka_2.13-3.2.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic example-events

localhost:9092 서버에 example-events란 토픽에 produce를 등록하는 명령어입니다.

~/kafka_2.13-3.2.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic example-events --from-beginning

• localhost:9092 서버에 example-events란 토픽에 consume하는 명령어 입니다.
• --from-beginning : 해당 Topic의 메세지를 처음부터 다 들고옵니다.

 ~/confluent-6.1.0/bin/connect-distributed  ~/confluent-6.1.0/etc/kafka/connect-distributed.properties

• 카프카 커넥터 실행 명령어입니다.
  
  

결과

그 이후 producer에서 텍스트를 입력하면 consumer에서 확인하실 수 있습니다.

refer :
https://stackoverflow.com/questions/47677549/kafka-zookeeper-connection-to-node-1-could-not-be-established-broker-may-no