ELK + Filebeat로 로깅하기

MINJU·2024년 4월 22일
0

0. 개요

(1) 전반적 구조

image

이 부분에서 filebeat는 로컬에 띄울 것이고 (아래 docker-compose 활용해서 같이 띄워도되는데 !!! 자꾸 실패해서 일단 분리)
나머지 elk는 docker-compose 활용해서 띄울 것

1. ELK 스택 로컬에 띄우기

참조블로그

(1)

해당 레포 클론 받기

환경변수 설정

.env 파일 열어서

  • ELASTIC_PASSWORD
  • LOGSTASH_INTERNAL_PASSWORD
  • KIBANA_SYSTEM_PASSWORD
    수정해주기 ( -> changeme가 초기비밀번호)

ElasticSearch 설정

elasticsearch/config/elasticsearch.yml 수정

cluster.name: docker-cluster
network.host: 0.0.0.0
xpack.security.enabled: false

Kibana 설정

kibana/config/kibana.yml 수정
33번째줄부터 xpack 관련된 부분 싹 다 주석 처리 !

Logstash 설정

logstash/pipeline/logstash.conf 수정

input {
        beats {
                port => 5044
        }
}

output {
        elasticsearch {
                hosts => "http://elasticsearch:9200"
                user => "elastic"
                password => "${LOGSTASH_INTERNAL_PASSWORD}"
                index => "logstash-%{+YYYY.MM.dd}"
        }
}

컨테이너 실행

docker-compose build && docker-compose up -d

접속해보기

localhost:5601 접속해서

  • id : elastic
  • pw : 설정한 pw
    로 로그인

2. filebeat 설정하기

(1) 다운

해당 링크에서 파일비트 다운받기

(2) 수정

filebeat.yml 수정하기

filebeat.inputs:
  - type: log
    paths:
      - {각자 환경에 맞는 로그 경로}/*.log
output.logstash:
  hosts: ["localhost:5044"]

(3) 실행

sudo ./filebeat -e -c filebeat.yml -d "publish"

에러 체크

스크린샷 2024-04-21 오후 9 10 53

3. 로그 확인하기

(1) 접속

localhost:5601 접속

(2) index 설정하기

Management -> Stack Management 접속

스크린샷 2024-04-21 오후 9 11 21

kibana -> Data view 접속

스크린샷 2024-04-21 오후 9 12 22

create data view 설정하기

Uploading 스크린샷 2024-04-21 오후 9.14.03.png…

위에서 설정한 형식대로 logstash-날짜형식 으로 data가 잡히고 있음!
그래서 패턴을 'logstash-*'으로 설정해줌

(3) 로그 확인하기

Analytics의 Data View 접속

스크린샷 2024-04-21 오후 9 14 56

로그 확인

스크린샷 2024-04-21 오후 9 15 37

날짜 등 필터링 걸어서 로그 확인할 수 있음 !!

0개의 댓글

관련 채용 정보