ELK Stack

woom·2023년 8월 17일

ELK

ELK Stack

목록 보기

4/4

출처 : ELK 스택으로 데이터 분석 - Minsuk Heo
https://github.com/minsuk-heo/BigData/tree/master

🌼 ELK Stack

로그 분석 시스템

ElasticSearch : 로그를 저장하는 데이터베이스로 활용

Logstash : 클라우드 내에서 발생된 로그를 전달받아서 ElasticSearch에 저장

Kibana : ElasticSearch에 저장된 로그를 브라우저에 출력

📕 Filebeat

Q. Logstash는 어떻게 클라우드상의 로그 정보를 입력받을 수 있나?

Filebeat : 각각의 서버(ex. 클라우드상의 tomcat서버와 DB)에 설치되어서 로그 파일의 변화가 있을때 변화된 로그파일을 Logstash로 전송

🐣 Filebeat 설치

https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation-configuration.html
- 운영체제에 맞게 설치

filebeat.yml(환경설정 파일) 설정 변경
- input_type log
- logstash ip (5044포트)

로그를 받는 logstash도 설정 필요함
- 설정파일 : /etc/logstash/conf.d/logstash.conf

input { 
  beats {
    port => 5044
  }
}
output {
        if [beat][hostname] == "ip-172-31-30-178" or [beat][hostname] == "ip-172-31-30-179" {
                elasticsearch {
                        hosts => "localhost:9200"
                        manage_template => false
                        index => "tomcat-%{+YYYY.MM.dd}"
                        document_type => "%{[@metadata][type]}"
                }
        }
        else if [beat][hostname] == "ip-172-31-30-180" {
                elasticsearch {
                        hosts => "localhost:9200"
                        manage_template => false
                        index => "database-%{+YYYY.MM.dd}"
                        document_type => "%{[@metadata][type]}"
                }
        }
        else {
                elasticsearch {
                        hosts => "localhost:9200"
                        manage_template => false
                        index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
                        document_type => "%{[@metadata][type]}"
                }
        }
}