키바나 정리

25gStroy·2022년 6월 6일

ELK

목록 보기

6/6

키바나

빅데이터 아키텍처에서 시각화는 상당히 중요한 위치를 차지하고 있다. 엘라스틱 서치와 키바나를 결합하면 텍스트 문서부터 로그파일, 메트릭, 전자상거래 트래픽, 기업의 비즈니스 트랜잭션에 이르기까지 다양한 데이터를 탐색하고 조사할 수 있다. 이와같이 잘 사용하기 위해선 엘라스틱 서치의 쿼리DSL, 버킷, 메트릭 집계와 같은 핵심 개념을 기본적으로 이해하고 있어야한다.

주요기능

데이터 분석과 시각화 툴
엘라스틱 관리
엘라스틱 중앙 허브

시각화 기능

인덱스 패턴

키바나를 시각화하기 위해선 반드시 엘라스틱 서치 인덱스에 연결되어야만 한다.
이렇게 엘라스틱 서치 인덱스에서 데이터 소스를 가저오는 것을 인덱스 패턴이라고 한다.

과 같은 와일드 패턴도 인덱스이름에 적용가능함

디스커버

디스커버 화면 구성

디스커버 인터페이스

쿼리바, 필터바, 타임피커

쿼리바와 필터바, 타임피커는 디스커벌 외에 Visualize나 대시보드같은 메뉴에서도 쓰인다. 잘 사용하면 데이터를 쉽게 조작하고 탐색할 수 있다. 타임피커는 인덱스 패턴에 타임 필드를 지정한 경우에만 사용할 수 있다.

쿼리바

쿼리바는 KQL과 루씬 쿼리 스트링, 두가지 언어를 지원한다. 디폴트는 KQL을 사용.

필터바

필터바는 쿼리바와 하는 역할이 비슷하지만 필드를 개별적으로 처리할 수 있다.쿼리바는 쿼리를 실행할때 쿼리를 재작성하는것이 규칙이지만 필터바는 개별적으로 필드를 제어할 수 있다.

자동완성기능을 지원한다. field를 선택하고 Operator를 정한 다음 Value를 선택하면 된다.
고급 사용자를 위해 복잡한 쿼리 방법도 지원한다. Edit as Query Dsl 링크를 이용하면 쿼리 DSL 문법을 이용해 UI로 제공하기때문에 유용하다.

타입피커

타임피커는 날짜/ 시간 정보를 조작해 데이터를 특정한 날짜/ 시간 범위 내에서 시각화한다.

타임피커 빠른 설정

타임피커 사용자 설정

시각화

Visualize 메뉴는 엘라스틱 서치에 저장된 데이터를 그래프나 표, 지도 등 다양한 타입으로 보여주는 역할을한다. 라인, 바, 파이 차트부터 맵, 시계열 비주얼 빌더 태그 클라우드등 다양한 시각화 타입을지원한다.

시각화 타입 선택

막대 그래프

가장 기본이 되는 시각화 타입, 막대 그래프 형태로 2차원 데이터를 표현한다.

Metrics : 평균값/최솟값/최댓값 같은 통계를 보여주고 그래프상에서 Y축에 속한다.
Buckets는 특정 기준으로 데이터를 나누는 역할을 한다.

x축 버킷 집계 종류

히트맵

열분포 형태의 시각화 표현 방식 XY축을 2개의 버킷으로 생성하고 메트릭값을 색의 진하기로 표현함으로써 3차원 데이터 처리가 가능하다. 색의 종류, 그라데이션 깊이 등은 설정을 통해 수정할 수 있다.

TSVB

시계열 데이터를 처리하기 위한 메뉴, 로그 모니터링이나 시간 범위 내의 특정 동작을 시각화 하는 데 유용 하다.

상단 인터페이스에 6개의 서비스가 보이는데 time Series는 시계열 데이터를 히스토 그램 형태로 확인할 수 있고 나머지 5개의 서비스는 특별한 타입으로 데이터 정보를 보여준다. 텍스트 형태로 표현하는 Metrice, 수평바 형태로 표현하는 Top N, 게이지 형태로 표현하는 Gauge, 마크다운 형태로 표현하는 Markdown, 테이블 형태로 표현하는 Table 이 있다. Auto apply 를 활성화 하면 데이터 소스가 변할 경우 바로 시각화에반영된다.

대시보드

대시보드는 시각화 타입들을 한 페이지에 모아볼 수 있는 기능으로 한 화면에서 다양한 관점으로 데이터를 분석할 수 있다.

대시보드 만들기

create dashboard 버튼 클릭

사용할 패널 선택/ 시각화할 타입 불러오기

대시보드에서 필터를 적용하고 날짜/ 시간을 변경하면서 데이터 분석작업을 편하게 할 수 있다. 이렇게 만들어진 대시보드는 저장하여 재활용하고나 편집이 가능핟. 또한 아이프레임 형태로 다른 웹페이지에 임베딩하거나 링크를 통해 웹에서 대시보드를 공유할 수 도 있다.

캔버스

캔버스는 인포그래픽 형태로 데이터를 프레젠테이션 할 수 있게 해주는 툴이다. MS사의 파워포인트를 사용한 것 처럼 화면을 편집하고 프레젠테이션 할 수 있는 것과 비슷하다.
정형화된 대시보드 형식에서 벗어나 나만의 디자인 스타일에 맞춰 동적으로 데이터를 표현할 수 있다는 것이다. 고급 유저라면 전용 문법을 익혀 새로운 스타일을 창조 할 수 있다.
캔버스는 모든것이 객체로 이뤄졌다.
그리고 객체화된 데이터는 동적으로 변경할 수 있다.
캔버스를 활용해 데이터를 변경하고 데이터 소스를 가져 오는 방식중 Elasticsearch SQL 방법을 사용하는것이 쉽고 간단하다.