[Kafka] 내, 외부 통신 설정

개요

• 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함
• EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정
• 외부에서 들어온 데이터를 내부에서 제공해야함
• 크롤러 url : 크롤러

Troubleshooting

• 외부의 데이터가 들어오지 않음
• netstat -anlp :9200을 했을 때, 데이터가 들어오려는 움직임이 보임 > conf파일 문제
• Kafka의 default 값은 내부 데이터만 받는 것으로 되어있음 > Kafka 통신을 내부, 외부 통신이 되게 바꿔줄 필요가 있음

해결방안

• Kafka는 네트워크 통신의 default 값은 내부서비스만 가능함 > 내부 프로토콜과 외부 프로토콜을 분리하여 외부에서도 서비스를 받을 수 있도록 설정

코드

• vi /opt/kafka/config/server.properties로 들어가 소켓 서버 설정 부분 수정
  

listener.security.protocol.map=EXTERNAL:PLAINTEXT,INTERNAL:PLAINTEXT
listeners=INTERNAL://kafka2-59655564bd-cmfjg:9092,EXTERNAL://0.0.0.0:9093
advertised.listeners=INTERNAL://kafka2-59655564bd-cmfjg:9092,EXTERNAL://broker:33149
inter.broker.listener.name=INTERNAL

결과