kafka env setting

설치

wget http://mirror.navercorp.com/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz

tar -zxvf kafka_2.12-2.4.0.tgz

환경셋팅

1) zookeeper

vi config/zookeeper.properties

1. dataDir
2. client port
3. initLimit/syncLimit
4. server.N=ip:10182:10183

dataDir에 myid 파일 생성 후 N 기입(instance Id)

2) kafka

vi config/server.properties

1. broker.id=N(myId)
2. advertised.lisners=PLAINTEXT://ip:10092
3. zookeeper.connect=ip:10181

실행

zookeeper 먼저 실행

zookeeper-server-start.sh ../config/zookeeper.properties &

kafka 실행

kafka-server-start.sh ../config/server.properties &

topic 만들기

1) 토픽만들기

kafka-topics.sh --create --zookeeper localhost:10181 --replication-factor 1 --partitions 1 --topic click_log

2) 토픽리스트 확인

kafka-topics.sh --list -zookeeper localhost:10181

3) 해당 토픽에 메세지 생성(produce)

kafka-console-producer.sh --broker-list localhost:10181 --topic log

4) 해당 토픽에 들어오는 메세지 확인(comsume)

kafka-console-consumer.sh --bootstrap-server localhost:10092 --topic log --from-beginning