kafka 실습 1

실습 환경
centos-release-7-6.1810.2.el7.centos.x86_64
kafka_2.13-3.3.1

방화벽 오픈/확인
카프카 브로커가 설치된 인스턴스의 방화벽을 꼭 열어주어야한다.
인스턴스 방화벽 설정이 disable 되어있다면 상관없음.
브로커: 9092 (보안 설정된 브로커: 9093)
주키퍼, jmx/node exporter 포트 등도 추가적으로 설정

https://slobell.com/blogs/21

https://it-serial.tistory.com/entry/%EB%A6%AC%EB%88%85%EC%8A%A4-CentOS-7-%EB%B0%A9%ED%99%94%EB%B2%BD-%ED%8F%AC%ED%8A%B8Port

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=tawoo0&logNo=221564885896

JMX exporter 설치
카프카 컴포넌트 메트릭들을 모니터링 할 때 사용

https://knowjea.github.io/2021/03/01/.Kafka,-Prometheus,-Grafana.html

https://sarc.io/index.php/miscellaneous/2251-kafka-prometheus

export KAFKA_OPTS=-javaagent:/opt/kafka/jmx/jmx_prometheus_javaagent-0.17.2.jar=7071:/opt/kafka/jmx/kafka-2_0_0.yml

https://danawalab.github.io/common/2021/10/06/Common-Node-exporter.html

Node exporter 설치
노드 상태 모니터링

https://prometheus.io/docs/guides/node-exporter/

https://ichappas.wordpress.com/2018/05/26/run-node-exporter-on-centos-7/

Node exporter 백그라운드 실행

nohup ./node_exporter &