수집 : 비츠, 로그스태시
데이터 저장&검색 : 엘라스틱 서치
시각화 : 키바나
엘라스틱 서치는 nosql의 일부
정렬 방식을 마으맫로 선택 가능한 것이 장점
병렬 처리가 가능함
restapi가 되버림
리소스가 많이 먹음
querydsl 이 join이 힘듦
반정규화 기본으로 모델링
수정, 삭제가 힘듦
키바나가 ui 담당
대시보드 잘 되어있음
로그스태시의 장점은 확장성
엘라스틱서치 인덱싱 최적화 위한 배치 처니롸, 병렬처리 가능. 영속적인 큐 사용해 이벤트 전송 횟수 최소 1회 보장, 유동적인 처리 방식으로 인해 수집중인 데이터 양이 급증하는 부하 상황에서도 안정성을 보장해준다
당연히 무거움
beats로 간단하게 할 수 있음.
비츠, 로그스태시 합쳐서 사용하는 경우가 많음
비츠에서 서비스 호스트에 정보를 수집. 로그스태시에서 이를 취합하고 가공
비츠는 다양한 프리셋이 존재
오딧비트 메트릭비트 하트비트 파일비트 패킷비트 윈로그비트
파일 비트는 기본으로 파이프라인 설정, 샘플 대시보드같은 것들이 있음
비츠 사용시 Elastic Common Schema 구조 활용해서 로그에 대한 쿼리를 별도 작성 안 해도 됨. 다른 서비스를 같은 스키마에 배핑도 가능
jdbc 입력 플러그인을 사용할 수 있음
JDBC 지원 데이터베이서 ->(로그스태시+jdbc)->엘라스틱서치
키바나 vs 그라파나
그라파나는 키바나를 포크해서 만들었음
엘라스틱서치 제외 다른 데이터베이스도 가능함
함께 사용도 가능함
테블로는 설치, 웹 서비스가 있고. 엑셀파일 같은 데이터까지 됨
그라파나는 알림기능
스택 관리
인출을 위해 저장. 저장을 위해 스키마+데이터
데이터 타입 + 전문 검색 내부 동작 방식 이해
CRUD, 맾핑, 인덱스를 여러개 묶어 관리 템플릿 설정 방식을 알아야 한다
클러스터, 인덱스, 도큐먼트, 필드 순으로 쪼개짐
인덱스 : 테이블과 유사함.
