Kafka metric monitoring 2

🚩 monitoring(ELK)

• "broker01" 서버로 접속한 후, apache kafka 실행
• apache kafka 실행 (zookeeper, broker) : jmx port 적용
• "kafka-client" 서버로 접속한 후, logstash(producer)와 logstash(consumer) 실행

1. elasticsearch 설치 전

오류1) File Descriptor 오류 해결

• [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
• file descriptor 갯수를 증가시켜야 한다.
• 에러 : [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
• https://www.elastic.co/guide/en/elasticsearch/reference/current/setting-system-settings.html#limits.conf

> sudo vi /etc/security/limits.conf
# 아래 내용 추가
* hard nofile 70000
* soft nofile 70000
root hard nofile 70000
root soft nofile 70000

# 적용을 위해 콘솔을 닫고 다시 연결한다. (console 재접속)
# 적용되었는지 확인
> ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 59450
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 70000  #--> 정상적으로 적용됨을 확인함

오류2) virtual memory error 해결

• 시스템의 nmap count를 증가기켜야 한다.
• 에러 : [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
• https://www.elastic.co/guide/en/elasticsearch/reference/current/vm-max-map-count.html

# 0) 현재 설정 값 확인
> cat /proc/sys/vm/max_map_count
65530

# 아래 3가지 방법 중 1가지를 선택하여 적용 가능
# 1-1) 현재 서버상태에서만 적용하는 방식
> sudo sysctl -w vm.max_map_count=262144

# 1-2) 영구적으로 적용 (서버 재부팅시 자동 적용)
> sudo vi /etc/sysctl.conf
# 아래 내용 추가
vm.max_map_count = 262144

# 1-3) 또는 아래 명령어 실행
> echo vm.max_map_count=262144 | sudo tee -a /etc/sysctl.conf

# 3) 시스템에 적용하여 변경된 값을 확인
> sudo sysctl -p
vm.max_map_count = 262144

2. elasticsearch 설치

> curl -LO https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-oss-7.10.2-linux-x86_64.tar.gz
> tar -xzf elasticsearch-oss-7.10.2-linux-x86_64.tar.gz
> rm -rf elasticsearch-oss-7.10.2-linux-x86_64.tar.gz

• master host 설정 (cluster.initial_master_nodes) : Master Node의 후보를 명시하여, Master Node 다운시 새로운 Master로 선출한다.
• 설정하지 않을 경우, elasticsearch 실행 시 아래 오류 발생

[3]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

• 따라서 아래와 같이 설정 필요

> cd ~/elasticsearch-7.10.2
> vi config/elasticsearch.yml

## Master Node의 후보 서버 목록을 적어준다.(자기 자신의 hostname)
cluster.initial_master_nodes: ["monitoring"]

## 위의 설정에서 IP를 입력하면, 아래 오류 발생
    - skipping cluster bootstrapping as local node does not match bootstrap requirements: [xx.xx.xx.xx]
    - master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster, and [cluster.initial_master_nodes] is empty on this node

2. elasticsearch 설치