사건
: AWS ec2에 카프카 브로커와 주키퍼를 설치한 상태. 로컬에서 ec2에 설치한 똑같은 카프카 버전을 설치하여 테스트 연결을 해보려는 상황에서 아래와 같은 오류 발생
오류 메세지
bin/kafka-broker-api-versions.sh --bootstrap-server 52.78.155.108:9092
[2023-08-11 15:35:28,523] WARN [LegacyAdminClient clientId=admin-1] Error connecting to node ip-172-31-3-179.ap-northeast-2.compute.internal:9092 (id: 0 rack: null) (org.apache.kafka.clients.NetworkClient)
java.net.UnknownHostException: ip-172-31-3-179.ap-northeast-2.compute.internal: nodename nor servname provided, or not known
at ...
에러분석 1
어디서 에러가 발생했을까가 궁금했다. 레퍼런스를 토대로 빠짐없이 설정해주고 실행했는데도 에러가 발생하였다. 그래서 처음에는 어디서 발생한 에러일까 되게 어려웠다.
그렇게 에러메세지를 분석하던 중 눈에 띄는 문구가 있었다 .
현재 상황으로썬 ip-172-31-3-170.ap-northeast-2.compute.internal을 읽을 수 없는 것이고, 뒤에 카프카 브로커의 포트번호인 9092가 있는 것으로 보아 뭔가 ec2에 설정하면서 빠지는 문구가 있었던 걸로 보인다.
Error connecting to node ip-172-31-3-179.ap-northeast-2.compute.internal:9092 (id: 0 rack: null) (org.apache.kafka.clients.NetworkClient)
java.net.UnknownHostException: ip-172-31-3-179.ap-northeast-2.compute.internal: nodename nor servname provided, or not known
해결시도 1 :
그렇다면 먼저 ec2에 ssh로 접속하여 설정상태를 확인해보자
에러가 발생한 ip이름 같은 것을 작성하는 부분의 설정을 파악해보자
$ vi config/server.properties
맨 아랫줄에 advertised.listeners=PLAINTEXT://52.78.155.108:9092 이라고 되어있는 것을 확인할 수 있다. 이게 나의 AWS ec2의 퍼블릭 IP인데, 레퍼런스에서 여기에 DNS서버 이름이나 퍼블릭 IP를 입력하도록 했다. 그래서 나는 긴 DNS서버 이름보단 퍼블릭 아이피를 넣었다.
또한 주키퍼의 기본 포트인 2181도 잘 넣었다.
그러다 계속해서 꼼꼼하게 보다보니 advertised 앞에 주석처리 표시인 #이 되어있는 것을 확인했다. 이를 제거하고 다시 돌려보기로 했다.
그래도 안되네 뭐가 문제지...
에러 분석 2
:지금보니까 카프카 자체가 실행하자마자 shut down되는 현상을 확인했다. 이것부터 고쳐야 로컬에서도 테스트가 될 것 같다.
그러다 이것저것 시도해봤는데, 갑자기 해결됐다.
해결
: 카프카가 실행안되는 경우를 확인했는데, 주키퍼가 선행되고 카프카가 후행되어야 하는데, 계속해서 순서를 반대로 하니 안됐던 것이다. 그렇게 카프카 서버가 시작되는 것을 확인하고 다시 로컬에서 실행해보니 잘 됐다 !!
배운점
: 우선 명확한 에러 분석을 통해 원인을 파악하는 것이 중요할 것 같다. 근본적인 문제를 해결하기 위해선 근본적인 원인을 찾아야하기 때문이다. 처음에는 주키퍼와 카프카를 실행시키는 법이 비슷하여 똑같은 것 인줄 알았지만 자세히 보니 달랐고, 다른 점을 통해 순서도 중요하다는 것을 깨달았다 .
주키퍼 실행 후 카프카 실행하자
[해결도움] : https://thewayitwas.tistory.com/489
[해결도움] : https://velog.io/@backtony/%EC%B9%B4%ED%94%84%EC%B9%B4-%EB%B9%A0%EB%A5%B4%EA%B2%8C-%EC%8B%9C%EC%9E%91%ED%95%B4%EB%B3%B4%EA%B8%B0#:~:text=%EC%B9%B4%ED%94%84%EC%B9%B4%20%ED%8C%A8%ED%82%A4%EC%A7%80%EC%9D%98%20%ED%9E%99%20%EB%A9%94%EB%AA%A8%EB%A6%AC,%EB%B3%80%EA%B2%BD%ED%95%B4%EC%A3%BC%EA%B3%A0%20%EC%8B%A4%ED%96%89%ED%95%B4%EC%95%BC%20%ED%95%A9%EB%8B%88%EB%8B%A4.
