# elasticsearch
AWS Pinpoint → Kinesis Firehose → Elasticsearch Event stream 활성화
AWS의 Amazon Pinpoint에는 Event를 저장하는 기능이 있다.Event Stream이라 하여, Amazon Pinpoint에서 발생하는 모든 로그를 AWS Kinesis로 보내는 기능인데, 나는 보통 Elasticsearch로 보내어 로그를 관리 한다.
1. logstash설치 및 실행
kafka message -> logstash -> ES에 넣어만 보기kafka-client 버전확인.kafka-input-plugin과 output-plugin이 integration으로 합쳐졌다고한다.아래 들어가면 kafka-client버전을 확인 할 수 있음..
[TIL]
APM이란 ? : APM(Application Performance Management)은 웹 어플리케이션, 서버 시스템 등의 성능을 관리하는 솔루션
[Elasticsearch] Token Filter 정리
apostrophe : '을 삭제. ' 뒤에 붙어있는 글자는 삭제됨asciifolding : ascii 형태가 아닌 글자를 ascii 형태로 변형. preserve_original: true로 하면 원본도 저장 가능cjk_bigram: 한국어, 중국어, 일본어를 분석
Elasticsearch nested query : nested에 should와 must를 함께 쓰는 경우 inner_hit 안맞는 이슈
이번에 개발하다가 이상한 점을 발견했다.기존 should로만 구성된 nested query에 필수 조건이 붙어 must를 추가로 넣었는데, 쿼리는 잘 되는 듯 보였으나, inner_hit이 제대로 나오지 않는 현상이다. 쿼리의 결과는 제대로 나오고 있어서 제대로 되고있
Logging on ELK stack costs
지난번 업데이트를 통해 로그들을 바로 ELK 에 올려서 보고 있다. 원래대로라면 Docker container 들에서 나오는 로그들을 외부 볼륨에 적재하고, Filebeat 와 같은 녀석들이 여러 docker container 들에서의 로그를 일괄적으로 ELK 에 올려
[ES] 엘라스틱 서치 🔍
엘라스틱 서치는 확장성이 뛰어난 오픈소스 검색 및 분석 엔진입니다. 방대한 양의 데이터를 신속하게 저장, 검색, 분석할 수 있도록 지원해주는 도구입니다. 보통 복잡한 검색 및 요구 사항이 있는 어플리케이션의 기본 엔진 기술로 사용된다고 합니다.루씬(Lucene) 기반의
엘라스틱서치 버그문자(�)가 낀 문서 지우기
엘라스틱서치 이용 중 Document의 내용에 '�' 이렇게 생긴 버그문자가 들어가는 현상이 생겼다. 또 그 버그문자는 a라는 필드의 내부에 있는 b라는 필드에 들어있다.전체 버그 문서의 내용은 대략 '��醫�肄�濡���' ���� ��珥��� 465紐� 寃⑸━����
v1.5.8 현재 기능 + AWS ELK
모든 코드는 공개되어 있습니다. https://github.com/Junyong-Suh/bitfront-telegram-botBTC, ETH, LN 의 가격을 1시간에 한번씩 알림으로 받고 싶은 분은 문의주세요. 24/7 은 보장 못하는 대신 무료입니다. :)
Elasticsearch join 관계에서 조건에 맞는 children count를 세는 composite aggregation
매핑은 아래와 같다post의 자식으로 comment가있고, post에는 언급된 사람들이 배열로 있다.(7버전 아래에서는 mappings 하위에 \_doc으로 감싸줘야함.)데이터 구분을 위해 모든 댓글의 내용(comment.content)는 "hello"이고, 26번만
Elasticsearch Certification 후기
문득 그런생각이 들었다. 나는 지난 5년동안 뭘 한거지? 여태 해왔던 것들이 그냥 물거품처럼 아무것도 아닌 것 같다는 생각이 들었다. 그래 그럼 뭐라도 증명할 수 있는걸 해보자. 그래서 처음 했던게 ES Certi를 딴 것 이었다. 사람들은 회사지원도 안되는 400
Elasticsearch를 사용하여 Node.js로 로깅 서버 구축하기
어느 날 회사에서 Elasticsearch를 사용해 로그를 쌓는 모습을 보게되었는데 어떻게 로그를 쌓는건지 궁금하기도 했고 Elasticsearch가 정확히 무엇인지 몰라서 Elasticseach에 대해서 학습하기 시작했습니다. 이 글은 Elasticsearch이 무엇인지 모르는 개발자를 대상으로 Elasticsearch에 대한 기초적인 개념을 담고 있습...