비츠
파일비트
go랭, 가벼움. 간단한 필터 가능
작동 순서
input : 하베스터에 대한 입력 소스를 정한다 파일비트는 하나 또는 여러개 입력 가능
harvester : 파일을 직접 수지ㅏㅂ하는 주체. 파일은 하나의 하베스터. 1줄씩 읽고, 내보내는 역할. 파일을 열고 닫기도 함. 파일 디스크립터가 열려있음
spooler : 하베스터가 수집한 이벤트를 엘라스틱서치, 로그스태시 같은 장소로 전달
출력 플러그인 예시
elastic
file
kafka
엘라스틱서치 플러그인 옵션
hosts : 주소
index : 어떤 인덱스
document_id : 아이디 값
user/pasword : 보안 기능 있을 경우 인증을 위한 사용자 이름과 비밀번호
pipeline : 엘라스틱서치에 등록된 인제스트 파이프라인 사용
template: 경로, template_name: 이름
코덱 : 입력, 출력, 필터같이 독립적으로 작동 X, 입출력 과정에서 사용되는 플러그인
스트림 필터
json
plain
rubydebug
같은 것들이 있음
다중 파이프라인
pipeline.id : 파이프라인 아이디
path.config : 설정파일 위치
pipeline.workers : 기본 cpu 코어수
pipeline.batch.size : 최대 몇개까지 동시 처리. 많아지면 성능은 높아지지만, 단일 요청이 커짐. 1000,2000 눈치껏
queue.type : 사용할 큐 기본 memory persistent도 가능
키바나는 단순 시각화 툴이 아님
엘라스틱 스택의 관리, 모니터링, 솔류션을 총괄하는 메인 UI
데이터 분석과 시각화 툴 : 오픈소스 기반의 데이터 탐색 및 시각화 도구 제공
엘라스틱 관리 : 보안, 스냅샷, 인덱스 관리, 개발자 도구등을 제공
엘라스틱 중앙 허브 : 모니터링을 비롯해 엘라스틱 솔루션을 탐색하기 위한 포털
시각화의 관점
디스커버 : 데이터를 도큐먼트 단위로 탐색. 구조, 관계 파악 가능
시각화 : 그래프 타입으로 데이터 시각화 가능
대시보드 : 그래프, 지도
캔버스 : 그래프와 이미지를 슬라이드처럼
맵스 : 위치기반 데이터
키바나는 es와 무조건 같이 되어야 됨
데이터 소스를 엘라스틱서치 인덱스에서 가져옴이를 인덱스 패턴이라고 함
syslog-* 인덱스 패턴 : 키바나에서 필드, 포맷등을 캐싱해둔 메타데이터 syslog-xxx 인덱스들과 연결됨
인덱스 패턴이라는 구조를 쓰는 이유 : 복수의 인덱스에 대한 매핑을 사전에 병합해두어 쿼리 생성이나 시각화에 활용할 수 있음
키바나의 데이터 소스는 인덱스 패턴임. 인덱스가 아님
타임 피커는 인덱스 패턴에 타임 필드를 지정한 이후에야 가능함
쿼리바는 KQL, 루씬 쿼리 스트링
