ELK를 구성할 때 로그 수집이 필요한 서버에 Filebeat를 설치부터 Kafka로 전송하는 방법에 대한 내용입니다.
(kafka 다운로드 및 설정은 작성하지 않습니다.)

1. Filebeat Download

우선 로그를 수집할 서버에 filebeat를 다운받습니다.
yum install 로 다운로드 방법과, wget으로 다운로드 방법이 있습니다.
yum install 은 repositry를 설정해야 합니다.
나는 wget으로 rpm 파일을 다운받아서 진행할 것입이다.

• 다운로드 명령어

mkdir filebeat 
cd filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.16.2-x86_64.rpm
rpm -ivh filebeat-oss-7.16.2-x86_64.rpm

2. Filebeat 설정

I. filebeat.yml

(1) 이 정상적으로 진행되면 /etc/filebeat 에 설정파일들이 생성됩니다.
그중에 filebeat.yml 파일을 수정

• /etc/filebeat/filebeat.yml

filebeat.inputs:
- type: log
   enabled: true
   paths:
    - /home/ec2-user/로그_수집이_필요한_경로_입력/*.log
 # ...
 output.kafka:
   hosts: ["kafka_ip_입력:9092"]
   topic: "dev-logs"
   compression: gzip  

• Spring log 전송시 newLine 관령 설정, (링크)
• 사용자가 임의로 전송할 데이터가 필요한 경우(링크)

3. Filebeat 실행

• 실행 명령어 (실행 명령어에는 관리자 권한이 필요함)

  sudo service filebeat start

• 상태 확인 명령어

  service filebeat status

4. 마무리

ELK를 구축하면서 다운로드 부분을 작성하지 않았습니다.
그 중 Filebeat를 설치하고 Kafka에 로그를 전송하는 방법에 대해 작성해봤습니다.