오류 1

Error connecting to node ip-172-31-3-158.ap-northeast-2.compute.internal:9092 (id: 0 rack: null) java.net.UnknownHostException

해결방법

• PC에서 VM으로의 연결은 잘 열려있는 상태였기 때문에
  VM 내부의 문제라고 생각하고 kafka 설정을 검토하였다.
• /confluent/etc/kafka/server.properties
  • Socket Server Settings를 건드리지 않아 설정해주었다.
  • advertised.listeners=PLAINTEXT://localhost:9092

결과

• 연결은 성공했지만... 다른 에러가 발생

오류 2

[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Resetting the last seen epoch of partition simple-topic-0 to 0 since the associated topicId changed from null to WOJgSyYMTDWMoFJDJj10Qw
[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Cluster ID: Zz7rQyY-SdaOgNgR3nSCuw
[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Node 0 disconnected.
[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Connection to node 0 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.

해결방법

• 재부팅을 안한 것 같아서 kafka, zookeeper 재부팅을 했다.

결과

• 그랬더니 다른 에러가...

났지만 해결해서 바로 결과

ec2에서 실행하는 경우에는 advertised.listeners를 public ip로 설정하고, SG도 열어줘야 가능했다!

• security group open
• advertised.listeners