10-1 파이썬으로 크롤링한데이터 키바나로 보기

kst5137·2022년 3월 7일
0


이거넣으면 한글 안깨찜

키바나의 visualization 으로 가서
tag cloud 선택

우리는 글자가있어서 숫자를 쓰는 bar pie는 불가능

bucket
어떤걸 기준으로 만들것인가

이렇게 필드설정하면
어떤 카테고리가 가장 많이 노출되었는가 가능

사이즈를 통해 몇개나 보일지 설정가능하고


이렇게 나옴

dashboard
맨처음 키바나로 들어왓을때 보이는 화면

대쉬보드에서 save로 미리 대쉬보드 만들고

다시 라이브러리 가서 save하면 원하는 대쉬보드에 넣기 가능

다 넣으면 다음과 같이 볼 수 있음

이 데이터를 오른쪽상단에
share로 배포

로그스태시 보기

정규식 문자열 비교는 그냥 문자 적기
로그분석시에는
grok를 통한 분리가 좋음
"message" => "STR\:%{WORD:str_field}"
위랑 같은 내용
"message" => "STR\:(?<str_field>\w+)"
\표시는 뒤에 특수문자를 특수문자 그자체로 사용할 수 있게 해주는것

[11/Jan/2022:11:46:52 +0900]를 분리시키기
특수문자 앞에는 다 \ 처리할것

"message" => "[%{DATA:date}\/%{DATA:month}\/%{DATA:year}\:%{DATA:hour}\:%{DATA:minute}\:%{DATA:second}]"
data가 모든것이 가능하니
WORD NUMBER도 좋지만 DATA가 편할듯

트위터에서 정보 가져오기
트위터 가입하고 관련정보들 바탕화면 정보정리.txt에 보관

input부분을 수정

input {
twitter {
consumer_key => "api키"
consumer_secret => "api시크릿"
oauth_token => "access 토큰"
oauth_token_secret => "access 토큰 시크릿"
keywords => ['BTS']

}
}
다 하고 visualized 하면 다음과 같이 나옴

tail -f /var/log/logstash/logstash-plain.log
이걸 로그스태시로 해놓고 로그스태시 잘 켜졌는지 확인하면서 하면
netstat없이 켜졌는지 확인가능
트위터 할때는 netstat이 없어서 필수인듯


metric : 숫자를 보여줌

tsvb
시계열데이터 : 시간대별로 보여줌

타입과 id를 설정하면 두개도 가능

대신 필터를 걸어줘야함

profile
공부중인 학생

0개의 댓글