데이터 파이프라인 설치 (2) - Logstash

설치 환경
- CPU : 4 core
- RAM : 8 GB
- DISK : 40 GB
- OS : ubuntu 20.04
- logstash version : 7.9.3

1. 다운로드 및 설치

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.9.3.deb

dpkg -i logstash-7.9.3.deb

2. configure

sudo vi /etc/logstash/logstash.yml

http.port: 0.0.0.0
http.port: 9600
path.data: /var/lib/logstash
path.logs: /var/lib/logstash

3. 실행 및 테스트

logstash 역시 서비스파일로 실행시켰다.

sudo vi /etc/systemd/system/logstash.service

[Unit]
Description=logstash

[Service]
Type=simple
User=logstash
Group=logstash
# Load env vars from /etc/default/ and /etc/sysconfig/ if they exist.
# Prefixing the path with '-' makes it try to load, but if the file doesn't
# exist, it continues onward.
EnvironmentFile=-/etc/default/logstash
EnvironmentFile=-/etc/sysconfig/logstash
ExecStart=/usr/share/logstash/bin/logstash -f /home/ubuntu/logstash/logstash.conf
WorkingDirectory=/
Nice=19
LimitNOFILE=16384

# When stopping, how long to wait before giving up and sending SIGKILL?
# Keep in mind that SIGKILL on a process can cause data loss.
TimeoutStopSec=infinity

[Install]
WantedBy=multi-user.target

logstash 실행을 위한 conf파일 생성

홈 디렉토리에 logstash/logstash.conf를 생성한다.
해당 파일에 데이터를 받아올 곳과 내보낼 곳을 설정해주는 것인데 일단은 빈칸으로 두도록 하겠다. 다음 글에서 kafka의 컨슈머로 설정하고 필터를 거친 후 elasticsearch로 내보내는 설정을 추가하도록 한다.

vi ~/logstash/logstah.conf

input {
  stdin{}
}

output {
  stdout{}
}

실행 테스트를 위해

sudo /usr/share/logstash/bin/logstash -f logstash/test.conf

명령어 실행 후 Successfully started Logstash 로그를 확인한 뒤 아무거나 입력하면 아래와 같은 return을 받을 수 있다.