Linux CentOS 7 ELK 구축.

🛟 Dive.·2024년 2월 24일
post-thumbnail

java설치.

java 버전 확인.

java -version

java 설치할 수 있는 버전 확인.

yum list java*jdk-devel

java가 설치 되지 않았다면 - java 설치.

yum install java-1.8.0-openjdk-devel.x86_64

Java 설치 확인.

javac -version
java -version

환경변수 등록.

readlink -f /usr/bin/java

JAVA_HOME = 복사한 경로(/jre/bin/java 빼고)

'vi /etc/profile'

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64 
PATH=$PATH:$JAVA_HOME/bin 
CLASSPATH=$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar 

export JAVA_HOME PATH CLASSPATH

'source /etc/profile 명령어로 활성화.'

환경변수 등록 테스트.

echo $JAVA_HOME
echo $PATH
echo $CLASSPATH

elasticsearch GPG key 다운.

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

repo 파일 추가하기.
vi /etc/yum.repos.d/elasticsearch.repo

[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md

elasticsearch 설치.

yum install --enablerepo=elasticsearch elasticsearch

elasticsearch 파일 편집.
'vi /etc/elasticsearch/elasticsearch.yml'

  • 수정 할 부분.
    - node.name: 주석제거
    - network.host : 0.0.0.0 : 주석제거 및 변경
    - http.port : 9200 주석제거
    - discovery.seed_hosts : ["127.0.0.1"]
    - cluster.initial_master_nodes : ["node-1"]

+++ secure 부분 설정 추가.

사진과 같이 주석처리 및 변경처리.

ES 재시작 및 설치 확인.

systemctl restart elasticsearch
curl http://127.0.0.1:9200

만약, 위와 같이 안나올경우, JAVA 환경변수 다시 확인.

Kibana 설치.

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

kibana.repo 수정.

vi /etc/yum.repos.d/kibana.repo

[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

install

yum install kibana

kibana.yml 수정.

vi /etc/kibana/kibana.yml

제거해야할 부분.

  • server.port : 5601
  • server.host : "0.0.0.0"
  • elasticsearch.hosts: ["http://localhost:9200"]

Kibana 재시작 및 설치 확인.

systemctl restart kibana

브라우저에 http://해당 ip : 5601

만약 브라우저에 뜨지 않는다면,

  • 로컬디스크 C > Window > System32 > drivers > etc > hosts 파일에 등록.

  • 방화벽 확인.

iptables -nL
systemctl stop firewalld
systemctl disable firewalld

참고.

ip addr # ip 설치 확인.

logstash 설치.

rpm 설치.

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

logstash.repo 수정.

vi /etc/yum.repos.d/logstash.repo

[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

install

yum install logstash

pipeline.conf 설정.

cd /etc/logstash/conf.d

conf파일 생성 => 이름은 아무거나 입력해도 됨. (ex -> demo-pipeline.conf) 생성.

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
#  beats {
#    port => 5044
#    host => "0.0.0.0"
#  }
  tcp {
    codec => json
    #iformat => json_event
    port => 5044
    host => "localhost(자기자신 IP 넣기)"
    #type => 'stucco-tcp'
  }
}

output {
  elasticsearch {
    hosts => ["http://0.0.0.0:9200"]
    #hosts => ["http://localhost:9200"]
    index => "crawler-%{+YYYY.MM.dd}"
#    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
#    #user => "elastic"
#    #password => "changeme"
  }
  stdout{codec => rubydebug}
}

logstash 재실행.

systemctl restart logstash

filebeat 설치.

rpm 설치.

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

install

yum install filebeat

filebeat.yml 수정.

vi /etc/filebeat/filebeat.yml






system 활성화 및 modules 리스트 확인.

filebeat modules enable system
filebeat modules list

시스템 재가동.

systemctl restart elasticsearch
systemctl restart logstash
systemctl restart kibana
systemctl restart filebeat

profile
Data Science. DevOps.

0개의 댓글