9-2 로그스태시를 통해 csv파일 넣어보기 -실습을 바탕으로

kst5137·2022년 3월 4일
0

기존 설정에서 조금 바꿔줘야함

(1) 엘라스틱서치 설정
/etc/elasticsearch/elasticsearch.yml
network.host: 0.0.0.0 모든 ip가 가능하게 0.0.0.0
discovery.seed_hosts: ["192.168.71.135"] <- 엘라스틱이 설치된 컴퓨터의 IP
(2) 키바나 설정
/etc/kibana/kibana.yml
elasticsearch.hosts: ["http://192.168.71.135:9200"] <- 엘라스틱이 설치된 컴퓨터의 IP
[]안에 http://까지 있어야지 가능함

(3) 로그스태시 설정
input {
file {
path => "csv 파일의 절대 경로"
나의 경우에는
path => "/population.csv"
start_position => "beginning"
파일을 어디서 부터 읽을지 정하는 건데
스타트 포지션은 beginning과 end가 있는데
원래는 end가 기본값으로 되어있다 우리는 우리가 파일을 넣은것이기 때문에 beginning으로 설정
end로 하면 즉각적인 stream데이터를 읽을 수 있음
sincedb_path => "/dev/null"
이거는 쓰레기 자료를 어디에다 넣을지에 관한 내용
}
}
filter {
csv {
separator => "," #csv파일은 구분자가 , 니까
columns => ["Country","1980","1981","1982","1983","1984","1985","1986","1987","1988","1989","1990","1991","1992","1993","1994","1995","1996","1997","1998","1999","2000","2001","2002","2003","2004","2005","2006","2007","2008","2009","2010"]
}
mutate {convert => ["1980", "float"]}
mutate {convert => ["1981", "float"]}
mutate {convert => ["1982", "float"]}
mutate {convert => ["1983", "float"]}
mutate {convert => ["1984", "float"]}
mutate {convert => ["1985", "float"]}
mutate {convert => ["1986", "float"]}
mutate {convert => ["1987", "float"]}
mutate {convert => ["1988", "float"]}
mutate {convert => ["1989", "float"]}
mutate {convert => ["1990", "float"]}
mutate {convert => ["1991", "float"]}
mutate {convert => ["1992", "float"]}
mutate {convert => ["1993", "float"]}
mutate {convert => ["1994", "float"]}
mutate {convert => ["1995", "float"]}
mutate {convert => ["1996", "float"]}
mutate {convert => ["1997", "float"]}
mutate {convert => ["1998", "float"]}
mutate {convert => ["1999", "float"]}
mutate {convert => ["2000", "float"]}
mutate {convert => ["2001", "float"]}
mutate {convert => ["2002", "float"]}
mutate {convert => ["2003", "float"]}
mutate {convert => ["2004", "float"]}
mutate {convert => ["2005", "float"]}
mutate {convert => ["2006", "float"]}
mutate {convert => ["2007", "float"]}
mutate {convert => ["2008", "float"]}
mutate {convert => ["2009", "float"]}
mutate {convert => ["2010", "float"]}
}
output {
elasticsearch {
hosts => "엘라스틱이 설치된 컴퓨터의 IP"
index => "population"
}
}
(4) 로그스태시 실행
/usr/share/logstash/bin/logstash -f /logstash-simple.conf
(5) 서비스로 로그스태시 실행
로그스태시설정파일.conf 파일을 /etc/logstash/conf.d 디렉토리에 복사
systemctl restart logstash
빠른확인은 /var/log/logstash 에서 logstash-plain.log 파일 확인
아니면 키바나로 가서 stack management > index management에서 확인

(6)

profile
공부중인 학생

0개의 댓글