📌ELK 스택

https://aws.amazon.com/ko/what-is/elk-stack/

ELK 스택은 Elasticsearch, Logstash, Kibana의 약자입니다. 이것은 데이터 수집, 저장, 분석, 시각화를 위한 세 가지 도구를 함께 사용하는 플랫폼을 의미합니다.

Elasticsearch (E): 분산 검색 엔진

• 데이터를 저장하고 분석

Elasticsearch는 데이터를 저장하고 검색할 수 있는 소프트웨어입니다. 주로 대용량 데이터를 다루며, 이를 빠르게 검색하고 분석하는 데 사용됩니다. 예를 들어, 웹 사이트의 로그 데이터, 상품 정보, 또는 사용자 정보와 같은 다양한 종류의 데이터를 저장하고 검색하는 데 이용될 수 있습니다.

이를 위해 Elasticsearch는 JSON 형식의 문서를 사용하며, 이 문서들을 빠르게 검색하고 분석할 수 있는 기능을 제공합니다. 또한 Elasticsearch는 데이터를 색인화하여 검색을 빠르게 만들어주는 Apache Lucene 기반으로 구축되어 있습니다.

요약하자면, Elasticsearch는 대용량 데이터를 저장하고 검색하는 소프트웨어로, 다양한 종류의 데이터를 빠르게 처리하여 원하는 정보를 쉽게 찾을 수 있게 도와줍니다.

Logstash (L): 이벤트 수집과 정제를 위한 도구

• 데이터를 수집하고 가공

Logstash는 데이터 처리 파이프라인을 구축하고 데이터를 수집, 변환 및 전송하는 오픈 소스 데이터 처리 엔진입니다. 주로 다양한 소스에서 데이터를 수집하고, 해당 데이터를 필요에 맞게 가공하고, 다양한 대상에 전달하는 데 사용됩니다.

Logstash는 다양한 입력 소스를 지원합니다. 이는 로그 파일, 데이터베이스, 메시지 큐 등 다양한 형태의 데이터 소스를 포함합니다. 그런 다음 Logstash는 이러한 입력 데이터를 가져와 필터링하고 변환하여 원하는 형식으로 가공합니다. 이러한 변환 작업은 사용자가 정의한 필터 플러그인을 사용하여 수행됩니다. 예를 들어, 로그 메시지를 구문 분석하고 필드를 추출하거나, 데이터를 변환하거나, IP 주소를 지리적 위치로 변환하는 등의 작업을 수행할 수 있습니다.

마지막으로, Logstash는 가공된 데이터를 다양한 대상에 전송합니다. 이는 Elasticsearch와 같은 데이터베이스에 저장하거나, 다른 시스템으로 전송하여 실시간 모니터링이나 보고서 생성 등의 작업을 수행할 수 있습니다.

요약하자면, Logstash는 다양한 데이터 소스에서 데이터를 수집하고, 필터링하고, 가공하여 다양한 대상에 전달하는 데이터 처리 엔진입니다. 이는 데이터 파이프라인을 구축하고 데이터를 효율적으로 관리하는 데 도움이 됩니다.

Kibana (K): 시각화 및 엘라스틱 관리 도구

• 엘라스틱서치에 저장된 데이터를 시각화하고 모니터링

Kibana는 Elasticsearch와 함께 사용되는 데이터 시각화 및 관리 도구입니다. Elasticsearch로 수집된 데이터를 검색, 시각화, 분석하는 데 사용됩니다. 사용자는 Kibana를 통해 데이터를 쉽게 시각화하고 대시보드를 만들어 다양한 형태로 데이터를 탐색할 수 있습니다.

간단히 말해, Elasticsearch는 데이터를 저장하고 검색하는 엔진이고, Kibana는 이러한 데이터를 시각화하고 이해하기 쉽도록 도와주는 도구입니다.

📌 엘라스틱 서치 설치

1. 패키지 다운로드

https://www.elastic.co/kr/downloads/elasticsearch

2. C:\ELK 디렉터리를 생성한 후 다운로드 받은 압축파일을 (한글이 포함되지 않은 디렉터리에) 압축해제

• bin ⇒ 서버를 시작하는데 필요한 모든 스크립트와 기타 유틸리티가 들어 있는 디렉터리

• bin/elasticsearch.bat ⇒ 엘라스틱서치 서버를 시작하는 배치 파일

• config ⇒ 서버 구성 파일이 들어 있는 디렉터리 (대부분 기본 설정으로 실행이 가능)

• config/elasticsearch.yml ⇒ 클러스터 정보, 각 노드의 정보, 데이터 파일을 저장할 경로 등 엘라스틱서치의 핵심적인 설정을 포함

• config/jvm.options ⇒ 힙 사이즈나 GC(Garbage Collection) 옵션, 힘 덤프 등 JVM 설정을 포함

• config/log4j2.properties ⇒ log4j2 로깅과 관련된 설정을 포함

• plugins ⇒ 플러그인 호스팅을 위한 디렉터리

• modules ⇒ 모듈 포함

• logs ⇒ 실행 중인 엘라스틱서치 인스턴스가 서버 및 가비지 수집 로그를 포함한 로깅 데이터를 생성하는 디렉터리

• data ⇒ 퍼시스턴트 저장소 처럼 데이터가 기록되는 폴더

3. elasticsearch.yml 파일 선택 후, 엘라스틱서치에서 제공하는 보안 관련 기능을 비활성화함.

c:\Users\crpark> cd c:\ELK

c:\ELK> code .

⇒ 문서 맨 마지막에 아래 코드를 추가

xpack.security.enabled: false

4. 관리자 권한으로 명령 프롬프트 실행한 후 elasticsearch를 실행

엘라스틱 서치 실행하기

c:\Users\crpark> cd c:\ELK\elasticsearch-8.13.2\bin

c:\ELK\elasticsearch-8.13.2\bin> elasticsearch.bat

5. 클러스터 동작을 확인

① 브라우저로 http://localhost:9200 으로 접속

② CURL 명령으로 확인

c:\ELK>curl -XGET http://localhost:9200

{
"name" : "DESKTOP-304U2MR", ⇐ 인스턴스 이름 (기본값은 컴퓨터 이름)
"cluster_name" : "elasticsearch", ⇐ 해당 노드가 가입한 클러스터 이름 (기본값은 elasticsearch)
"cluster_uuid" : "ncUNUa67SQSaoOoX5MfhuA",
"version" : {
"number" : "8.13.2",
"build_flavor" : "default",
"build_type" : "zip",
"build_hash" : "16cc90cd2d08a3147ce02b07e50894bc060a4cbf",
"build_date" : "2024-04-05T14:45:26.420424304Z",
"build_snapshot" : false,
"lucene_version" : "9.10.0",
"minimum_wire_compatibility_version" : "7.17.0",
"minimum_index_compatibility_version" : "7.0.0"
},
"tagline" : "You Know, for Search"
}

elasticsearch.bat 명령으로 실행한 것을 Ctrl + C 입력으로 종료

6. Windows 운영 체제에서 Elasticsearch를 서비스를 등록, 실행, 중지

Elasticsearch를 Windows 시스템의 서비스로 설치하고 실행할 수 있다. 서비스를 생성하면 Elasticsearch를 백그라운드에서 실행할 수 있으며, 시스템 부팅 시 자동으로 시작되도록 설정할 수도 있다.

① 서비스 생성

c:\ELK\elasticsearch-8.13.2\bin> elasticsearch-service.bat install

Installing service : elasticsearch-service-x64

② 서비스 시작

c:\ELK\elasticsearch-8.13.2\bin> elasticsearch-service.bat start

The service 'elasticsearch-service-x64' has been started

c:\ELK\elasticsearch-8.13.2\bin> >curl -XGET http://localhost:9200
⇐ 엘라스틱서치가 백그라운드로 실행되므로 다른 작업이 가능
{
"name" : "DESKTOP-304U2MR",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "zBcM02mqQmmltfJvstR3kA",
"version" : {
"number" : "8.13.2",
"build_flavor" : "default",
"build_type" : "zip",
"build_hash" : "16cc90cd2d08a3147ce02b07e50894bc060a4cbf",
"build_date" : "2024-04-05T14:45:26.420424304Z",
"build_snapshot" : false,
"lucene_version" : "9.10.0",
"minimum_wire_compatibility_version" : "7.17.0",
"minimum_index_compatibility_version" : "7.0.0"
},
"tagline" : "You Know, for Search"
}

③ 서비스 중지

c:\ELK\elasticsearch-8.13.2\bin> elasticsearch-service.bat stop

④ 서비스 콘솔에서 서비스 시작, 중지, 다시 시작 등이 가능하고, 윈도우 실행 시 자동으로 실행되도록 설정도 가능

📌 키바나 설치

1. 패키지 다운로드

https://www.elastic.co/kr/downloads/kibana

2. 다운로드 받은 패키지를 C:\ELK 아래에 압축 해제

3. 키바나 설정 (config/kibana.yml)

• server.port ⇒ 키바나 백엔드 서버 포트

• server.host ⇒ 키바나 서버의 호스트로 외부에서 접근할 수 있게 하려면 서버의 IP 주소나 DNS 이름으로 지정

• server.publicBaseUrl ⇒ 사용자가 외부에서 어떤 URL로 키바나에 접근하는지를 지정 ("/"로 끝나면 안 됨)

• elasticsearch.hosts ⇒ 엘라스틱서치 쿼리를 전달할 엘라스틱서치의 호스트 URL 목록을 지정
  
  

4. 키바나 실행 및 확인

• c:\Users\crpark> cd c:\ELK\kibana-8.13.2\bin

• c:\ELK\kibana-8.13.2\bin> kibana.bat

⇒ ELK 구축 중 Kibana 주소로 접속을 해 보면 kibana server is not ready yet 메세지가 발생할 경우, 구축하는 드라이브에서 85% 이상의 용량을 사용하고 있을 때 위와 같은 에러가 발생하므로 용량을 늘려준 뒤 다시 ELK를 띄워보면 에러 없이 잘 동작한다

브라우저로 http://localhost:5601 으로 접속

---

📌 보안 모드로 실행

⇒ 기본이 보안모드

1. 엘라스틱서치와 키바나 패키지를 다른 폴더(C:\Temp)에 압축해제 (폴더 이름에 한글이 포함되지 않도록 유의)

2. VSCode 실행

c:\ELK\elasticsearch-8.13.2\bin> cd c:\temp\

c:\Temp> code .

3. 엘라스틱서치 설정 파일 확인 (C:\Temp\elasticsearch-8.13.2\config\elasticsearch.yml) ⇒ 모두 주석처리되어 있음

4. 일반 사용자로 명령 프롬프트를 실행해서 엘라스틱서치 실행

c:\Temp> cd elasticsearch-8.13.2\bin

c:\Temp\elasticsearch-8.13.2\bin> chcp
활성 코드 페이지: 949

c:\Temp\elasticsearch-8.13.2\bin> chcp 65001
⇐ UTF-8로 변경 (한글이 깨져서 출력되는 것을 방지)
Acive code page:65001

c:\Temp\elasticsearch-8.13.2\bin> elasticsearch.bat
:

✅ Elasticsearch security features have been automatically configured!
⇒ 보안 설정을 비활성화하지 않고, 엘라스틱서치를 시작하면 다음과 같은 보안 구성을 자동으로 수행

(1) TLS용 인증서와 키 생성

2) elasticsearch.yml 파일에 TLS 구성을 설정(

(3) elastic 사용자에 대한 비밀번호를 생성

(4) Kibana 등록 토큰을 생성

✅ Authentication is enabled and cluster connections are encrypted.

🔹 Password for the elastic user (reset with bin/elasticsearch-reset-password -u elastic):
oebiVw2bcAVCdCXzEj08 ⇐ (3) elastic 사용자에 대한 비밀번호를 생성

🔹 HTTP CA certificate SHA-256 fingerprint:
26a419c2705c244af88e4efc4e319218772feb7283100f61523aff6e34d633aa

🔹 Configure Kibana to use this cluster:
• Run Kibana and click the configuration link in the terminal when Kibana starts.
• Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes):
eyJ2ZXIiOiI4LjEzLjIiLCJhZHIiOlsiMTkyLjE2OC4wLjE0Mzo5MjAwIl0sImZnciI6IjI2YTQxOWMyNzA1YzI0NGFmODhlNGVmYzRlMzE5MjE4NzcyZmViNzI4MzEwMGY2MTUyM2FmZjZlMzRkNjMzYWEiLCJrZXkiOiJpWDdzTzQ4QkJYQ041aG94ME9vdjpaWVN5V0k5bVNSYXEySkZ5VEQ0a2p3In0= ⇐ (4) Kibana 등록 토큰

🔹 Configure other nodes to join this cluster:
• On this node:
⁃ Create an enrollment token with bin/elasticsearch-create-enrollment-token -s node.
⁃ Uncomment the transport.host setting at the end of config/elasticsearch.yml.
⁃ Restart Elasticsearch.
• On other nodes:
⁃ Start Elasticsearch with bin/elasticsearch --enrollment-token <token>, using the enrollment token that you generated.

5. 엘라스틱서치 동작 확인

6. 관리자 모드로 명령 프롬프트를 실행해서 키바나를 실행

C:\ELK\kibana-8.13.2\bin> cd c:\temp\kibana-8.13.2\bin

c:\Temp\kibana-8.13.2\bin> kibana.bat

7. 키바나 웹 콘솔에 접속

8. 키바나 설정 파일(C:\Temp\kibana-8.13.2\config\kibana.yml)에 설정이 자동으로 추가된 것을 확인할 수 있음

9. 엘라스틱서치 동작을 CURL 명령으로 확인

c:\Users\crpark> curl -XGET http://localhost:9200
⇐ HTTP로 접근 불가
curl: (52) Empty reply from server

c:\Users\crpark> curl -XGET https://localhost:9200
curl: (60) schannel: SEC_E_UNTRUSTED_ROOT (0x80090325) - 신뢰되지 않은 기관에서 인증서 체인을 발급했습니다.

c:\Users\crpark> curl -XGET https://localhost:9200 -k
⇐ Allow insecure server connections

"-k" 옵션은 curl이 보안 인증서를 확인하지 않고도 HTTPS 서버에 연결할 수 있도록 합니다. 이를 통해 인증서가 유효하지 않거나 자체 서명된 인증서를 사용하는 경우에도 curl이 HTTPS 서버에 연결할 수 있습니다. 그러나 이는 보안상 취약점을 초래할 수 있으므로 주의해야 합니다.

c:\Users\crpark> curl -XGET https://localhost:9200?pretty -k

"?pretty"는 Elasticsearch의 응답을 가독성 있게 출력하도록 요청한다.

c:\Users\crpark> curl -XGET https://localhost:9200 -k -u elastic
Enter host password for user 'elastic': oebiVw2bcAVCdCXzEj08

• 위 명령어는 curl을 사용하여 Elasticsearch에 인증된 사용자 "elastic"으로 요청을 보내는 것이다.

• "-u elastic"은 사용자 이름 "elastic"으로 인증됨을 나타낸다. 이것은 Elasticsearch에 대한 인증이 필요한 경우 사용된다.

• "Enter host password for user 'elastic'"라는 메시지가 나타나면, curl이 비밀번호를 요청하고 있음을 나타낸다.

• 입력란에 비밀번호를 입력한 후 엔터를 누르면 curl이 Elasticsearch로 요청을 보내고, 인증이 성공하면 해당 서버의 정보가 반환된다.

---

실습은 비보안 환경에서 진행

(일반 모드로 명령 프롬프트를 실행) 엘라스틱서치 실행

c:\Temp\elasticsearch-8.13.2\bin> cd c:\elk\elasticsearch-8.13.2\bin

c:\ELK\elasticsearch-8.13.2\bin> elasticsearch.bat

(관리자 모드로 명령 프롬프트를 실행) 키바나 실행

c:\Temp\kibana-8.13.2\bin> cd c:\ELK\kibana-8.13.2\bin

c:\ELK\kibana-8.13.2\bin> kibana.bat

ELK 스택 구조

도서 데이터를 ELK(Elasticsearch, Logstash, Kibana) 스택으로 저장하고 시각화하기 위해 JSON 문서의 형태로 표현할 수 있다. 예를 들어, "Effective Java"라는 책의 정보를 JSON 문서로 표현하면 다음과 같다:

① 도서 데이터에 포함될 내용

title : 도서명
author : 작가명
release_date : 출발일
amazon_rating : 아마존 평점
best_seller : 베스트 셀러 여부
prices : 달러, 파운드, 유로 화폐 단위의 가격

② JSON 문서 형태로 책을 표현

{
	"title": "Effective Java", 		⇐ 키 : 값 형태로 데이터를 표현
	"author": "Josuha Bloch", 		⇐ 키는 문자열 형태 
	"release_date": "2001-06-01", 	⇐ 값은 문자열, 숫자, 참(true), 거짓(false), 또 다른 객체, 배열 등 
	"amazon_rating": 4.7, 		   다양한 형태가 올 수 있음
	"best_seller": true, 
	"prices": {
		"usd": 9.95, 
		"gbp": 7.95, 
		"eur": 8.95
	}
}

1. 문서 API

• 문서(document)를 생성, 삭제, 수정, 검색을 도와주는 API
• API는 RESTful 형식으로 HTTP 전송을 통해서 액세스할 수 있음

https://velog.io/@younge/REST-API-%EC%84%B1%EC%88%99%EB%8F%84-%EB%AA%A8%EB%8D%B8-Maturity-Model-eqqyjqff

<HTTP_METHOD> <SERVER:PORT>/<INDEX_NAME>/_doc/<DOC_ID>
{
   요청 본문
}

• HTTP_METHOD - GET, POST, PUT, DELETE 등

• SERVER:PORT - localhost:9200

• INDEX_NAME - 인덱스 이름 = 색인 명

• _doc - 문서 API의 엔드포인트 기본값

_id를 지정하지 않고 색인

POST <index_name>/_doc

{
	<document>
}

문서 조회

GET <index_name>/_doc/<_id>
  

문서 업데이트

POST <index-name>/_doc/<_id>
{
	<변경할 내용>
}

문서 검색

GET/POST  <index-name>/_search
{
	"query": {
		...
	}
}

문서 삭제

DELETE <index_name>/_id/<_id>

인덱싱(Indexing)은 검색 엔진이 문서를 저장하고 효율적으로 검색할 수 있도록 데이터를 구조화하는 과정이다. . 문서는 일반적으로 텍스트, JSON, XML 또는 기타 형식의 데이터로 구성됩니다. 이러한 문서를 검색할 수 있도록 만들기 위해 검색 엔진은 문서의 내용을 분석하여 색인(index)을 생성합니다. 이 색인은 문서의 내용을 색인화하여 특정 검색어에 대한 빠른 검색을 가능하게 합니다.

1) CURL을 이용해서 문서를 인덱싱

c:\Users\crpark> curl -XPUT "localhost:9200/books/_doc/1" -H "Content-Type: application/json" -d "{ ... }"

위 명령어는 Curl을 사용하여 Elasticsearch 서버에 HTTP PUT 요청을 보내어 "books" 인덱스의 "_doc" 엔드포인트에 ID가 1인 문서를 생성 또는 업데이트합니다. 요청 본문에는 책 정보가 JSON 형식으로 포함되어 있습니다.

① -XPUT :
요청 방식을 지정. HTTP 요청 메서드를 PUT으로 지정합니다. 이는 데이터를 업데이트하거나 새로 생성할 때 사용됩니다.

② "localhost:9200/books/_doc/1" :
서버 호스트 이름과 포트 번호를 나타내며, "books"는 인덱스 이름, "_doc"은 문서 API의 엔드포인트, "1"은 book ID입니다.

③ -H "Content-Type: application/json" :
Content-Type 요청 헤더를 설정 ⇒ 본문 내용이 JSON 타입. 요청 헤더를 설정하여 요청 본문이 JSON 형식임을 명시합니다.

④ -d "{ ... }" :
요청 본문 = 데이터. 요청 본문을 설정합니다. 여기서는 JSON 형식으로 책 정보가 제공됩니다. 요청 본문의 내용을 이스케이프 처리하기 위해 쌍따옴표를 이스케이프하여 사용합니다.

*) 요청 본문을 기술할 때 쌍따움표를 이스케이프 처리해야 함 ⇒ 쌍따움표를 두번 연속 표기 또는 \" 형식으로 이스케이프

① 요청 본문:
"title": "Effective Java", "author": "Josuha Bloch", "release_date": "2001-06-01", "amazon_rating": 4.7, "best_seller": true, "prices": { "usd": 9.95, "gbp": 7.95, "eur": 8.95 }

② 두 번 연속으로 쌍따옴표 표기:

""title"": ""Effective Java"", ""author"": ""Josuha Bloch"", ""release_date"": ""2001-06-01"", ""amazon_rating"": 4.7, ""best_seller"": true, ""prices"": { ""usd"": 9.95, ""gbp"": 7.95, ""eur"": 8.95 }

③ 백슬래시를 사용하여 이스케이프:
\"title\": \"Effective Java\", \"author\": \"Josuha Bloch\", \"release_date\": \"2001-06-01\", \"amazon_rating\": 4.7, \"best_seller\": true, \"prices\": { \"usd\": 9.95, \"gbp\": 7.95, \"eur\": 8.95 }

2) 카바나 Dev Tools 콘솔을 이용해서 문서를 인덱싱

3) 여러 문서를 인덱싱(색인)

PUT books/_doc/2
{
  "title":"Core Java Volume I - Fundamentals",
  "author":"Cay S. Horstmann",
  "release_date":"2018-08-27",
  "amazon_rating":4.8,
  "best_seller":true,
  "prices": {
    "usd":19.95,
    "gbp":17.95,
    "eur":18.95
  }
}
PUT books/_doc/4
{
  "title":"Java: A Beginner’s Guide",
  "author":"Herbert Schildt",
  "release_date":"2018-11-20",
  "amazon_rating":4.2,
  "best_seller":true,
  "prices": {
    "usd":19.99,
    "gbp":19.99,
    "eur":19.99
  }
}

4) 데이터 검색

_count API : 해당 인덱스에 속하는 문서의 수를 반환

이 명령어는 Curl을 사용하여 Elasticsearch에 HTTP GET 요청을 보내어 "books" 인덱스에 있는 문서의 수를 가져오는 것이다.

c:\Users\crpark> curl -XGET "localhost:9200/books/_count"
{"count":4,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0}}

c:\Users\crpark> curl -XGET "localhost:9200/books/_count"?pretty
{
"count" : 4,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
}
}

① 여러 인덱스의 문서 개수를 동시에 조회

c:\Users\crpark> curl -XGET "localhost:9200/books,books2/_count"?pretty

→ 동일한 API를 사용해서 여러 인덱스에서 동시에 가져오는 것도 가능

{
"error" : {
"rootcause" : [
{
"type" : "index_not_found_exception", ⇐ books2 인덱스가 존재하지 않기 때문에 오류를 반환
"resource.type" : "index_or_alias",
"resource.id" : "books2",
"index_uuid" : "_na",
"index" : "books2"
}
],
"type" : "indexnot_found_exception",
"reason" : "no such index [books2]",
"resource.type" : "index_or_alias",
"resource.id" : "books2",
"index_uuid" : "_na",
"index" : "books2"
},
"status" : 404
}

② 모든 인덱스의 문서 수를 가져올 경우

c:\Users\crpark> curl -XGET "localhost:9200/_count"?pretty
{
"count" : 4, ⇐ 시스템 및 숨겨진 인덱스를 포함하여 사용 가능한 모든 문서가 반환
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
}
}

5) 문서 검색

① 단일 문서 검색 ⇒ ID가 부연된 문서를 가져오기 ⇒ GET /_doc/

c:\Users\crpark> curl -XGET http://localhost:9200/books/_doc/1
{"_index":"books","_id":"1","_version":1,"_seq_no":0,"_primary_term":1,"found":true,"_source":{ "title": "Effective Java", "author": "Josuha Bloch", "release_date": "2001-06-01", "amazon_rating": 4.7, "best_seller": true, "prices": { "usd": 9.95, "gbp": 7.95, "eur": 8.95 } }}

c:\Users\crpark> curl -XGET http://localhost:9200/books/_doc/1?pretty

{
  "_index" : "books",		  --+ 메타 데이터
  "_id" : "1",				  |
  "_version" : 1,			  |
  "_seq_no" : 0,			  |
  "_primary_term" : 1,		  --+
  "found" : true,
  "_source" : {			          --+ 원본 문서 (소스 데이터)
    "title" : "Effective Java",	  | 
    "author" : "Josuha Bloch",	  |
    "release_date" : "2001-06-01",|
    "amazon_rating" : 4.7,	  	  |
    "best_seller" : true,		  |	
    "prices" : {			      |
      "usd" : 9.95,			      |
      "gbp" : 7.95,			      |
      "eur" : 8.95			      |
    }					          --+
  }
}

No request selected 오류가 발생하는 경우

② 일련의 ID를 부여해서 여러 문서 가져오기 ⇒ _search API

{
"took": 20,
"timed_out": false,
"_shards": {
  "total": 1,
  "successful": 1,
  "skipped": 0,
  "failed": 0
},
"hits": {
  "total": {
    "value": 3,
    "relation": "eq"
  },
  "max_score": 1,
  "hits": [
    {
      "_index": "books",
      "_id": "1",
      "_score": 1,
      "_source": {
        "title": "Effective Java",
        "author": "Josuha Bloch",
        "release_date": "2001-06-01",
        "amazon_rating": 4.7,
        "best_seller": true,
        "prices": {
          "usd": 9.95,
          "gbp": 7.95,
          "eur": 8.95
        }
      }
    },
    {
      "_index": "books",
      "_id": "3",
      "_score": 1,
      "_source": {
        "title": "Effective Java",
        "author": "Josuha Bloch",
        "release_date": "2001-06-01",
        "amazon_rating": 4.7,
        "best_seller": true,
        "prices": {
          "usd": 9.95,
          "gbp": 7.95,
          "eur": 8.95
        }
      }
    },
    {
      "_index": "books",
      "_id": "2",
      "_score": 1,
      "_source": {
        "title": "Core Java Volume I - Fundamentals",
        "author": "Cay S. Horstmann",
        "release_date": "2018-08-27",
        "amazon_rating": 4.8,
        "best_seller": true,
        "prices": {
          "usd": 19.95,
          "gbp": 17.95,
          "eur": 18.95
        }
      }
    }
  ]
}
}

• "took": 20: Elasticsearch가 해당 요청을 처리하는 데 걸린 시간을 밀리초로 표시합니다. 여기서는 20밀리초가 걸렸습니다.

• "timed_out": false: 요청이 시간 초과되지 않았음을 나타냅니다.

• "_shards": 클러스터 내의 샤드에 대한 정보를 보여줍니다. 이 경우 총 1개의 샤드가 성공적으로 처리되었습니다.

  클러스터 내의 샤드는 Elasticsearch에서 데이터를 저장하고 처리하기 위한 기본적인 단위입니다.
  샤드는 데이터를 저장하고 처리하는 논리적 단위이며, Elasticsearch는 이러한 샤드를 통해 대용량 데이터를 효율적으로 처리할 수 있습니다.

• "hits": 실제 검색 결과입니다.

  • "total": 검색 결과에 포함된 총 문서 수를 나타냅니다. 여기서는 3개의 문서가 검색되었습니다.

  • "max_score": 검색 결과 중 가장 높은 점수를 가진 문서의 점수입니다.

  • "hits": 검색된 각 문서에 대한 정보가 포함된 배열입니다. 각 문서는 "_index", "_id", "_score", "_source" 등의 필드를 포함합니다. 여기서는 각 문서의 "_index"는 "books"이며, "_id"는 각 문서의 고유 식별자입니다. "_source"는 검색된 문서의 실제 내용을 포함합니다.

c:\Users\crpark> curl -XGET http://localhost:9200/books/_search -H "Content-Type: application/json" -d "{ ""query"": { ""ids"" : { ""values"": [1, 2, 3] } } }"

c:\Users\crpark> curl -XGET http://localhost:9200/books/_search ? pretty -H"Content-Type: application/json" -d "{ ""query"": { ""ids"" : { ""values"": [1, 2, 3] } } }"

④ 조회 결과에서 소스 데이터를 생략

⑤ 문서의 내용 중 "title"만 출력되도록 제한

⑥ 모든 문서 가져오기

전체 텍스트 검색

match 쿼리 → 특정 필드에서 주어진 검색어와 일치하는 문서를 검색

① Josuha 저자이름으로 검색

• match 쿼리는 단어의 위치 및 대소문자 관계 없이 일치하는 단어를 포함하면 결과를 반환

  "author": "Josuha"
  "author": "josuha"
  "author": "JOSUHA"
  "author": "Bloch"

• 완벽한 단어 중에서 일치하는 단어가 없으므로 검색되지 않음

  "author": "jos"

  
  

② 단어의 시작 문자 일부로 조회하려고 하는 경우 = 해당 문자로 시작하는 단어를 검색

  GET /books/_search
{
   "query": {
      "prefix": {
       "author": "jos"			⇐ 단어를 시작하는 문자를 소문자로 표기
    }
  }
}

③ 저자 이름이 "Josuha Schildt"인 도서를 조회 ⇒ 일치하는 도서가 없을 것을 예상

기본적으로 OR 연산을 하므로, 저자 이름에 Josuha가 들어간 것과 Schildt가 들간 것을 모두 조회

④ operator 매개변수를 이용해서 명시적으로 AND로 설정

⑤ 책 제목이 Effective Java 글자가 모두 들어 있는 문서를 조회

2. bulk API를 이용한 대량 문서 색인

_bulk API는 Elasticsearch에서 여러 작업을 한 번에 수행하기 위해 사용되는 API입니다. 이 API를 사용하면 단일 요청으로 여러 문서의 색인(index), 삭제(delete), 업데이트(update) 등을 처리할 수 있습니다. 이를 통해 네트워크 오버헤드를 최소화하고 처리 속도를 향상시킬 수 있습니다.

https://github.com/madhusudhankonda/elasticsearch-in-action/blob/main/datasets/books-kibana-dataset.txt

1) 색인된 문서 갯수 확인 ⇒ 10개

2) id가 1인 문서를 조회 ⇒ 같은 ID를 사용하는 문서는 업데이트된 것을 확인 ⇒ 1~4번 문서는 업데이트됨

✅ 문서를 가져올 때마다 해당 문서의 _version 필드를 확인하여 최신 버전인지 확인할 수 있다.

✅ 업데이트된 내용이 title 필드에 반영되었다면, 해당 내용은 _source 필드에서 확인할 수 있다.

3) 문서 구조를 확인

{
"title": "Head First Java",
"author": "Kathy Sierra and Bert Bates",
"edition": 2,
"synopsis": "The most important selling points of Head First Java is its 
simplicity and super-effective real-life analogies that pertain to the Java
programming concepts.",
"amazon_rating": 4.3,
"release_date": "2005-02-18",
"tags": [
  "IT Certification Exams",
  "Object-Oriented Software Design",
  "Design Pattern Programming"
]
}

• title: 책의 제목을 나타내는 문자열

• author: 책의 저자를 나타내는 문자열

• edition: 책의 판을 나타내는 숫자

• synopsis: 책의 간략한 개요 또는 요약을 나타내는 문자열

• amazon_rating: 아마존에서의 평점을 나타내는 숫자

• release_date: 책이 출시된 날짜를 나타내는 문자열

• tags: 책에 관련된 태그 목록을 나타내는 배열. 태그는 책의 주제나 특성을 설명하는 데 사용
  
  
  

4) 여러 필드에서 검색 ⇒ multi_match 쿼리를 사용

① title 또는 synopsis 항목에 Java 단어가 포함된 문서를 조회

• multi_match 쿼리는 Elasticsearch에서 여러 필드에서 한 번에 검색을 수행하는 데 사용됩니다. 이 쿼리를 사용하면 여러 필드에 대해 동시에 검색을 수행할 수 있으며, 검색어가 하나 이상의 필드에서 발생하는 모든 문서를 검색할 수 있습니다.

• "query"는 사용자가 검색하는 검색어를 나타냅니다. "fields"는 검색을 수행할 필드의 목록을 나타냅니다.

{
  "took": 30,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 10,
      "relation": "eq"
    },
    "max_score": 0.33537668,
    "hits": [
      {
        "_index": "books",
        "_id": "2",
        "_score": 0.33537668,
        "_source": {
          "title": "Effective Java",
          "author": "Joshua Bloch",
          "edition": 3,
          "synopsis": "A must-have book for every Java programmer and Java aspirant, Effective Java makes up for an excellent complementary read with other Java books or learning material. The book offers 78 best practices to follow for making the code better.",
          "amazon_rating": 4.7,
          "release_date": "2017-12-27",
          "tags": [
            "Object Oriented Software Design"
          ]
        }
      },
      {
  
  ∙
  ∙
  ∙

② 제목에 더 높은 우선순위(관련성)를 부여 = 결과 부스팅

• "title^3"는 제목 필드에 대해 부스팅을 적용하는 것을 나타냅니다.

• 검색 결과에서 제목에 포함된 검색어와 관련된 문서가 더 높은 순위로 표시됩니다.

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 10,
      "relation": "eq"
    },
    "max_score": 1.0061301,
    "hits": [
      {
        "_index": "books",
        "_id": "2",
        "_score": 1.0061301,
        "_source": {
          "title": "Effective Java",
          "author": "Joshua Bloch",
          "edition": 3,
          "synopsis": "A must-have book for every Java programmer and Java aspirant, Effective Java makes up for an excellent complementary read with other Java books or learning material. The book offers 78 best practices to follow for making the code better.",
          "amazon_rating": 4.7,
          "release_date": "2017-12-27",
          "tags": [
            "Object Oriented Software Design"
          ]
        }
      },
      {
        "_index": "books",
        "_id": "5",
        "_score": 0.90180784,
        "_source": {
          "title": "Head First Java",
          "author": "Kathy Sierra and Bert Bates",
          "edition": 2,
          "synopsis": "The most important selling points of Head First Java is its simplicity and super-effective real-life analogies that pertain to the Java programming concepts.",
          "amazon_rating": 4.3,
          "release_date": "2005-02-18",
          "tags": [
            "IT Certification Exams",
            "Object-Oriented Software Design",
            "Design Pattern Programming"
          ]
        }
      },

5) 문장 검색

시놉시스에 "must-have book for every Java programmer" 문장이 들어간 문서를 검색"

① match 쿼리에 operator를 사용해서 검색

② match_phrase를 사용해서 검색

6) 일치하는 부분을 하이라이팅 처리

• 검색 결과에서 각 문서의 하이라이팅된 부분은 _source 필드 아래에 highlight 필드로 제공된다.

  "highlight": {
          "synopsis": [
            "A <em>must-have book for every Java programmer</em> and Java aspirant, Effective Java makes up for an excellent"
          ]

7) 누락된 단어가 있는 문장을 검색

시놉시스에 for every가 누락된 "must-have book Java programmer" 문장으로 검색

① slop 매개변수를 추가 ⇒ 검색할 때 구문에 누락 또는 정렬되지 않은 단어 수를 나타내는 정수

• slop 매개변수는 Elasticsearch의 multi_match 쿼리에서 사용되는 옵션 중 하나입니다. 이 옵션은 검색어에서 단어 사이의 최대 허용 거리를 지정하는 데 사용됩니다.

• 위 예시에서 slop 매개변수는 2로 설정되어 있으며, 단어 사이에 최대 2개의 단어가 허용됩니다

② match 쿼리에 operator를 사용하는 방법

8) match 쿼리 실행 시 맞춤법 오류가 있는 경우

① tags 항목에 Computer 단어가 들어간 문서를 조회

② 사용자 실수로 Computer 단어를 Kumputer로 입력한 경우 ⇒ 일치하는 결과가 없음

③ fuzziness 매개변수를 이용해서 글자가 잘못 입력된 경우(틀리거나, 생략되거나, 추가된 경우)에도 검색을 허용

• fuzziness 매개변수는 Elasticsearch의 검색에서 사용되며, 주어진 검색어와 일치하는 도큐먼트를 찾을 때 허용할 수 있는 오타의 수를 지정합니다

• 정수 값: 허용할 최대 편집 거리를 나타냅니다. 예를 들어, 2로 설정하면 최대 2개의 문자가 오타일 경우에도 일치하는 것으로 간주됩니다.

• "AUTO": Elasticsearch에게 자동으로 적절한 편집 거리를 선택하도록 합니다. 검색어의 길이에 따라 적절한 값을 자동으로 선택합니다.

  

3. 용어 수준 쿼리(term-level query)

• 용어 수준 쿼리(term-level query)는 Elasticsearch에서 구조화된 데이터를 검색하는 데 사용되는 쿼리 유형입니다. 이 쿼리는 데이터의 정확한 일치 여부를 확인하고 검색하는 데 집중하며, 검색 결과에 관련성 점수를 생성하지 않습니다.

• 구조화된 데이터는 일반적으로 숫자, 날짜, 범위, IP 주소 등과 같이 이미 구조화되어 있고 분석되지 않은 상태로 저장됩니다. 이것은 용어 수준 쿼리가 정확한 일치를 확인하기 위해 데이터를 분석할 필요가 없다는 것을 의미합니다.

• 예를 들어, 용어 수준 쿼리를 사용하여 숫자 필드에서 특정 값과 정확하게 일치하는 도큐먼트를 검색할 수 있습니다. 또한 날짜 범위나 IP 주소와 같은 구조화된 데이터에서도 동일한 방식으로 작동합니다.

• 구조화되지 않은 데이터(예: 문자열)는 Elasticsearch에서 검색하기 전에 분석되어 저장되는 반면, 구조화된 데이터는 이미 분석되지 않고 그대로 저장됩니다.

• 요약하면, 용어 수준 쿼리는 데이터의 정확한 일치를 확인하기 위해 사용되며, 구조화된 데이터에서 작동하며 검색 결과에 관련성 점수를 생성하지 않습니다.
  
  
  

1) 문서 구조 확인

{
"title": "Head First Java",
"author": "Kathy Sierra and Bert Bates",
"edition": 2,
"synopsis": "The most important selling points of Head First Java is its simplicity and super-effective real-life analogies that pertain to the Java programming concepts.",
"amazon_rating": 4.3,
"release_date": "2005-02-18",
"tags": [
  "IT Certification Exams",
  "Object-Oriented Software Design",
  "Design Pattern Programming"
]
}

• title: 책의 제목. 여기서는 "Head First Java"입니다.

• author: 책의 저자 또는 저자들. 여기서는 "Kathy Sierra and Bert Bates"입니다.

• edition: 책의 판매 버전. 여기서는 2판(2)입니다.

• synopsis: 책의 간략한 개요 또는 내용 요약. 여기서는 "The most important selling points of Head First Java is its simplicity and super-effective real-life analogies that pertain to the Java programming concepts."입니다.

• amazon_rating: 아마존에서의 평점. 여기서는 4.3입니다.

• release_date: 책의 출시일. 여기서는 "2005-02-18"입니다.

• tags: 책과 관련된 태그 목록. 여기서는 "IT Certification Exams", "Object-Oriented Software Design", "Design Pattern Programming"입니다.

  
  
  

2) edition에 3이 포함된 문서를 검색 ⇒ match 쿼리를 이용

3) 검색 결과의 _source 부분을 title과 edition 정보만 출력되도록 수정

4) term 쿼리를 이용

• term 쿼리는 텍스트 분석을 거치지 않고 필드의 값을 그대로 검색하므로, 정확한 용어나 값을 찾을 때 사용됩니다.

• 이것은 텍스트나 문자열과 같은 구조화되지 않은 데이터보다는 숫자, 날짜, 키워드와 같은 구조화된 데이터에 더 적합합니다.

5) range 쿼리

• 이 쿼리는 특정 범위 내에 있는 값을 가진 도큐먼트를 검색할 때 사용됩니다. range 쿼리는 숫자, 날짜 및 기타 유형의 필드에 대해 사용할 수 있으며, 지정된 범위 내에 있는 값으로 필드를 필터링합니다.

• 즉, range 쿼리는 특정 범위 내에 있는 값을 필터링하는 데 유용하며, 숫자나 날짜와 같은 구조화된 데이터에서 자주 사용됩니다.

• range 쿼리에 사용할 수 있는 다양한 옵션이 있습니다. 주요 옵션은 다음과 같습니다:

  • gte: Greater than or equal to (이상). 지정된 값보다 크거나 같은 값을 가진 도큐먼트를 반환합니다.

  • gt: Greater than (초과). 지정된 값보다 큰 값을 가진 도큐먼트를 반환합니다.

  • lte: Less than or equal to (이하). 지정된 값보다 작거나 같은 값을 가진 도큐먼트를 반환합니다.

  • lt: Less than (미만). 지정된 값보다 작은 값을 가진 도큐먼트를 반환합니다.

  
  

amazon_rating이 4.5 이상, 5.0 이하인 도서 문서를 조회

4. 복합 쿼리

복합 쿼리는 Elasticsearch에서 여러 개의 단일 쿼리를 결합하여 복잡한 검색을 수행할 때 사용됩니다. 이러한 복합 쿼리는 하나 이상의 단일 쿼리를 조합하여 결과를 조정하거나 필터링하는 데 사용됩니다.

*) 복합 쿼리 종류

• 부울(bool) 쿼리:
  부울 쿼리는 여러 개의 단일 쿼리를 조합하여 복잡한 논리적 조건을 만족시킬 수 있습니다. 이를 통해 필터링, 반드시 일치해야 하는 조건, 또는 반드시 일치하지 않아야 하는 조건 등을 적용할 수 있습니다.

• 상수 점수(constant_score) 쿼리:
  상수 점수 쿼리는 단일 쿼리를 실행하고 모든 결과에 대해 동일한 점수를 할당합니다. 이는 결과를 필터링하는 데 사용되며, 모든 결과에 대해 동일한 중요도를 부여하고 싶을 때 유용합니다.

• 기능 점수(function_score) 쿼리:
  기능 점수 쿼리는 단일 쿼리 결과의 점수를 조정하는 데 사용됩니다. 이를 통해 검색 결과의 순위를 개선하거나 특정 조건에 따라 결과를 조정할 수 있습니다.

• 부스팅(boosting) 쿼리:
  부스팅 쿼리는 일치하는 문서에 가중치를 부여하여 검색 결과의 순위를 조정합니다. 이는 특정 조건에 따라 일치하는 문서의 중요도를 높이거나 낮출 때 유용합니다.

• 분리 최대(dis_max) 쿼리:
  분리 최대 쿼리는 여러 개의 쿼리를 실행하고 그 중 가장 높은 점수를 가진 문서를 반환합니다. 이는 다양한 쿼리 조건에 따라 가장 관련성 높은 결과를 찾을 때 유용합니다.

부울(bool) 쿼리

GET books/_search
{
  "query": {
    "bool": {
      "must": [ {    } ], 		
      "must_not": [ {    } ], 	
      "should": [ {    } ], 		
      "filter": [ {    } ]		
    }
  }
}

• must: 문서와 일치해야 하는 조건을 나타냅니다. 즉, 이 조건을 만족하는 문서만 결과에 포함됩니다.

• must_not: 문서와 일치하지 않아야 하는 조건을 나타냅니다. 이 조건을 만족하는 문서는 결과에서 제외됩니다.

• should: 반드시 일치해야 하는 것은 아니지만, 일치하는 경우 높은 관련성 점수가 부여되는 조건을 나타냅니다. 이 조건을 만족하는 문서는 결과에 포함될 수 있지만, 반드시 포함되지는 않습니다.

• filter: must와 같이 문서와 일치하지만, 관련성 점수에 영향을 주지 않는 조건을 나타냅니다. 일치하는 문서는 결과에 포함되지만, 관련성 점수가 부여되지 않습니다.

참고 *) Elasticsearch의 데이터 관련 기능과 REST API에 대한 자세한 내용을 제공.
https://esbook.kimjmin.net/04-data/4.1-rest-api
https://esbook.kimjmin.net/04-data/4.2-crud
https://esbook.kimjmin.net/04-data/4.3-_bulk
https://esbook.kimjmin.net/04-data/4.4-_search
https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html

1) must 절

• 문서와 일치해야 하는 조건을 나타냅니다. 즉, 이 조건을 만족하는 문서만 결과에 포함됩니다.

books 인덱스에서 저자가 Joshua Bloch인 도서(문서)를 검색

GET books/_search
{
"query": {
  "bool": {					⇐ 부울 쿼리
    "must": {				⇐ must 절 → 문서가 기준과 일치해야 함
      "match": {				⇐ match 쿼리 → Joshua Bloch가 쓴 책과 일치하는 궈리 
        "author": "Joshua Bloch"
      }
    }
  }
}, 
"_source": ["title", "author"]
}

• "books" 인덱스에서 "author" 필드가 "Joshua Bloch"인 문서를 검색하는 부울 쿼리를 수행합니다.

• 부울 쿼리(bool query): 부울 쿼리를 사용하여 다양한 검색 조건을 조합할 수 있습니다. 이 경우 "must" 절을 사용하여 문서가 특정 조건과 일치해야 한다는 조건을 지정하고 있습니다.

• must 절(must clause): must 절은 문서가 지정된 조건과 반드시 일치해야 함을 나타냅니다. 여기서는 "author" 필드가 "Joshua Bloch"인 문서를 찾고 있습니다.

• match 쿼리(match query): match 쿼리는 지정된 필드에서 특정 값과 일치하는 문서를 검색합니다. 이 경우 "author" 필드에서 "Joshua Bloch"와 일치하는 문서를 찾고 있습니다.

• 검색 결과에는 "_source" 필드를 사용하여 검색 결과에 포함될 필드를 지정하고 있습니다. 여기서는 "title"과 "author" 필드만 결과에 포함시키고 있습니다.

• 이 요청은 "author" 필드가 "Joshua Bloch"인 책의 제목과 저자 정보를 검색하여 반환
  
  

① 동일한 기능을 match 쿼리로 변경

② 검색어(저자 이름)의 순서가 달라도 검색이 가능

③ match_phase 쿼리로 변경 ⇒ 단어의 순서가 다른 경우 검색되지 않는 것을 확인

• "match_phrase" 쿼리를 사용하면 특정한 단어나 구문이 문서 내에서 정확한 순서로 일치하는 경우에만 문서를 반환합니다.

  

  

④ 저자가 "Joshua Bloch"이고, synopsis에 "best Java programming books" 내용을 포함하고 있는 문서를 조회

2) must_not 절

• 문서와 일치하지 않아야 하는 조건을 나타냅니다. 이 조건을 만족하는 문서는 결과에서 제외됩니다.

Joshua Block 책 중에서 아마존 평점이 4.7 미만이 아닌 책을 검색

• "author" 필드가 "Joshua Block"인 문서를 찾습니다.

• "amazon_rating" 필드의 값이 4.7 미만인 문서는 제외합니다.

  

3) should 절

- 반드시 일치해야 하는 것은 아니지만, 일치하는 경우 높은 관련성 점수가 부여되는 조건을 나타냅니다. 이 조건을 만족하는 문서는 결과에 포함될 수 있지만, 반드시 포함되지는 않습니다.

*) _score는 검색 결과의 관련성을 나타내는 값으로, 높은 _score를 가진 검색 결과가 쿼리와 더 관련성이 높은 것으로 간주되며 검색 결과의 순위를 결정하는 데 사용됩니다.

① should 절을 포함하지 않고 검색했을 때

② should 절을 포함해서 검색 ⇒ _score가 증가한 것을 확인

③ should 절에 일치하지 않는 조건을 추가 ⇒ 검색 결과는 변함이 없는데, _score가 감소(should 절이 없는 것과 동일)하는 것으르 확인

⇒ should 절의 조건은 검색 결과에 영향을 미치지 않으나, 만약 일치한다면 검색 결과의 유사도 점수가 증가하는 것을 확인

4) filter 절

• must와 같이 문서와 일치하지만, 관련성 점수에 영향을 주지 않는 조건을 나타냅니다. 일치하는 문서는 결과에 포함되지만, 관련성 점수가 부여되지 않습니다.

Joshua Block 책 중에서 아마존 평점이 4.7 미만이 아닌 책 중 태그에 Software가 포함된 책을 검색하는데, 검색 결과에서 2015년 이전에 출판된 책은 필터링(2015년 이전에 출판된 책은 결과에서 제외)

① filter 절을 추가하지 않고 검색 ⇒ 검색 결과가 동일하고 _score도 동일 ⇒ 연관성 점수에 영향을 미치지 않음

② filter 조건을 만족하지 않으면 검색 대상이 될 수 없음

③ Joshua Block 책 중에서 아마존 평점이 4.7 미만이 아닌 책 중 태그에 Software가 포함된 책을 검색하는데, 검색 결과에서 2015년 이전에 출판되고 3판인 책을 검색

📌 집계(aggregations)

• 집계 유형

  • 메트릭 집계 - 합계, 최소, 최대, 평균 ⇐ 문서 데이터 집합 전체에 걸쳐 집계된 값

  • 버킷 집계 - 날짜, 연령 그룹 등과 같은 간격으로 분리된 버킷으로 데이터를 수집하는 집계 → 히스토그램, 원형 차트, 기타 시각화 구축에 사용

  • 파이프라인 집계 - 다른 집계의 출력에 대해 작동하는 집계

• 검색과 마찬가지로 _search 엔드포인트를 사용

• query 개체 대신 aggs 개체를 사용

  
  
  

1. 10개국의 코로나 관련 데이터를 색인화

https://github.com/madhusudhankonda/elasticsearch-in-action/blob/main/datasets/covid-26march2021.txt

2. covid 인덱스에 문서 개수를 조회

3. covid 인덱스에 모든 문서를 조회

4. 메트릭(metric) 집계

GET books/_search						   ⇐ 조회와 동일한 엔드포인트를 사용(_search API를 이용)
{
	"aggs": {						       ⇐ 집계를 의미
		"avg_rating": {				       ⇐ 집계 결과를 나타내는 사용자 정의 이름 
			"avg": {				       ⇐ 집계 유형 (avg = 평균)
				"field": "amazon_rating"   ⇐ 집계 대상 
			}
		}
	}
}

5. covid 인덱스에서 전체 중증환자 수를 집계해서 critial_patients로 출력

1) 문서 구조

문서 구조
      {
        "country": "United States of America",
        "date": "2021-03-26",
        "cases": 30853032,			⇐ 확진자
        "deaths": 561142,			 ⇐ 사망자
        "recovered": 23275268,		⇐ 완치자
        "critical": 8610			⇐ 중증환자
      }

• 집계(aggregation): "critial_patients"
  "critical" 필드의 값의 합계를 계산합니다.

• 이 쿼리를 실행하면 "critical" 필드의 값이 모두 합산되어 중요한 환자들의 총 수가 반환될 것입니다.

2) 원본 소스 문서가 집계 결과에 포함되지 않도록 설정

• "size 0" : 검색 결과로 문서를 반환하지 않고, 집계 결과만 반환합니다.

• "aggs": 집계 쿼리를 정의합니다.

• "critical_patients": 집계의 이름을 정의합니다.

• "sum": 지정된 필드의 값을 합산합니다.

• "field": "critical": critical 필드의 값을 사용하여 합산합니다. 이 필드는 환자의 심각한 상태를 나타내는 것으로 추정됩니다.

3) covid 인덱스에서 전체 사망자수 중 가장 큰 값, 가장 작은 값, 평균 값

• "size": 0: 검색 결과로 문서를 반환하지 않고, 집계 결과만 반환합니다.

• "aggs": 집계 쿼리를 정의합니다.

• "max_deaths": 최대 사망자 수를 계산하는 집계입니다.

  • "max": 최대 값을 찾기 위한 집계 유형입니다.
  • "field": "deaths": deaths 필드의 값에서 최대 값을 찾습니다.

• "min_deaths": 최소 사망자 수를 계산하는 집계입니다.

  • "min": 최소 값을 찾기 위한 집계 유형입니다.

  • "field": "deaths": deaths 필드의 값에서 최소 값을 찾습니다.

• "avg_deaths": 평균 사망자 수를 계산하는 집계입니다.

  • "avg": 평균 값을 계산하기 위한 집계 유형입니다.

• "field": "deaths": deaths 필드의 값의 평균을 계산합니다.

4) stats 집계를 이용해서 개수, 최소값, 최대값, 평균, 합계를 조회

"stats" 집계는 지정된 필드에 대한 다음과 같은 통계 정보를 계산합니다:

• count: 해당 필드의 값의 개수

• min: 해당 필드의 최소값

• max: 해당 필드의 최대값

• avg: 해당 필드의 평균값

• sum: 해당 필드의 모든 값의 합계
  

• "size": 0: 검색 결과로 문서를 반환하지 않고, 집계 결과만 반환합니다.

• "aggs" : 집계 쿼리를 정의합니다.

• "all_stats" : 결과를 출력할 때 사용하는 사용자 정의 이름입니다.

• "stats" : 개수, 최소값, 최대값, 평균, 합계를 계산하는 집계 유형입니다.

• "field": "deaths" : deaths 필드의 값에 대해 통계를 계산합니다.

5) extended_stats ⇒ 분산, 표준 편차와 같은 더 많은 정보를 제공

• "stats" 집계와 유사하지만, "extended_stats"는 더 많은 통계 정보를 제공

① count: 해당 필드의 값의 개수

② min: 해당 필드의 최소값

③ max: 해당 필드의 최대값

④ avg: 해당 필드의 평균값

⑤ sum: 해당 필드의 모든 값의 합계

⑥ sum_of_squares: 해당 필드 값의 제곱의 합

⑦ variance: 해당 필드 값의 분산

⑧ std_deviation: 해당 필드 값의 표준 편차

⑨ std_deviation_bounds: 표준 편차 경계값을 포함한 객체

6. 버킷(bucket) 집계

데이터를 다양한 그룹이나 버킷으로 분리 ⇒ 버킷팅

1) 히스토그램 버킷(histogram buckets)

• 히스토그램은 필드 값을 지정된 간격(interval)에 따라 여러 그룹으로 나누는 집계 방법 중 하나입니다. 각 그룹은 "버킷"이라고도 불립니다.

  

• "size": 0: 검색 결과로 문서를 반환하지 않고, 집계 결과만 반환합니다.

• "aggs": 집계 쿼리를 정의합니다.

• "critical_patients_as_histogram": 히스토그램을 나타내는 사용자 정의 이름입니다.

• "histogram": 히스토그램 집계를 정의합니다.

• "field": "critical" : critical 필드를 기준으로 히스토그램을 생성합니다.

• "interval": 2500 : 각 버킷(bin)의 크기를 지정합니다. 여기서는 critical 값의 범위를 2500 단위로 나누어 버킷을 생성합니다.

• 0부터 2499까지의 값에 해당하는 문서가 4개 있습니다.

• 2500부터 4999까지의 값에 해당하는 문서가 3개 있습니다.

• 5000부터 7499까지의 값에 해당하는 문서가 0개 있습니다.

• 7500부터 끝까지의 값에 해당하는 문서가 3개 있습니다.

2) 범위 버킷(range buckets)

범위 버킷은 지정된 필드의 값을 범위로 그룹화하여 해당 범위에 속하는 문서의 개수를 집계합니다.

• "field": "critical": critical 필드를 기준으로 범위를 설정합니다.

• "ranges": 각 범위를 정의합니다. 각 범위는 시작값과 끝값을 가지고 있습니다.

  • 0부터 60000 사이
  • 60000 이상 70000 미만 사이
  • 70000 이상 80000 미만 사이
  • 80000 이상 120000 미만 사이

주어진 결과는 "critical_patients_as_range" 집계의 결과로 생성된 범위 버킷을 보여줍니다. 각 버킷은 "critical" 필드의 값을 특정 범위로 나누어서 해당 범위에 속하는 문서의 개수를 집계합니다.

• "key": 범위를 나타내는 문자열입니다. 범위는 시작값과 끝값으로 표시됩니다. 예를 들어, 첫 번째 버킷은 0부터 60000까지의 범위를 나타냅니다.

• "from": 범위의 시작값을 나타내는 숫자입니다.

• "to": 범위의 끝값을 나타내는 숫자입니다.

• "doc_count": 해당 범위에 속하는 문서의 개수를 나타냅니다

  • 0부터 60000까지의 범위에 해당하는 문서가 10개 있습니다.
  • 60000 이상 70000 미만의 범위에 해당하는 문서는 없습니다.
  • 70000 이상 80000 미만의 범위에 해당하는 문서는 없습니다.
  • 80000 이상 120000 미만의 범위에 해당하는 문서는 없습니다.

ELK를 통한 보안 관제

서비스 환경에서는 데이터가 다양한 소스에서 생성되며, 이러한 데이터는 중앙집중식 로깅 플랫폼을 통해 수집, 저장, 분석되어야 합니다. 여기에는 다음과 같은 다양한 데이터 유형이 포함될 수 있습니다:

① 네트워크 종단에 있는 기기:

• 중요한 메트릭(예: 네트워크 트래픽, 대역폭 사용률 등)을 수집해야 합니다. 이러한 메트릭은 네트워크의 성능과 가용성을 모니터링하고 문제를 신속하게 파악하는 데 도움이 됩니다.

② 프론트엔드, 백엔드, 데이터베이스 서버 그룹:

• 이러한 시스템은 주로 심각한 오류나 경고 로그를 생성합니다. 예를 들어, 프론트엔드 서버에서는 사용자 요청의 오류를 기록하고, 백엔드 서버에서는 데이터베이스 연결 오류 또는 처리 실패와 같은 문제를 기록합니다.

③ 고객이 실행하는 애플리케이션:

• 이러한 애플리케이션은 심각한 계측 데이터(예: 성능 지표, 사용량 데이터 등)와 추적 데이터(예: 사용자 행동, 이벤트 로그 등)를 생성합니다. 이러한 데이터는 서비스의 사용자 경험을 평가하고, 애플리케이션의 성능을 모니터링하고, 문제를 해결하는 데 사용됩니다.

  
  

*) 로그 vs 메트릭

로그(Logs):

• 로그는 시스템 또는 애플리케이션이 생성한, 특정 이벤트에 대한 정보를 입니다. 이러한 이벤트에는 오류 메시지, 경고 메시지, 정보 메시지, 디버그 메시지 등이 포함될 수 있습니다.

• 로그는 일반적으로 텍스트 형식으로 기록되며, 이벤트가 발생한 시간, 이벤트 유형, 이벤트에 대한 상세 내용 등의 정보를 포함합니다

• 주요 용도는 문제 해결, 디버깅, 감사 추적 등의 목적으로 사용됩니다.

메트릭(Metrics):

• 메트릭은 특정 시점에서 시스템 또는 애플리케이션의 상태를 측정한 것입니다. 예를 들어, CPU 사용률, 메모리 사용량, 디스크 용량, 네트워크 속도 등이 포함될 수 있습니다.

• 메트릭은 숫자 형식으로 기록되며, 일반적으로는 시간 간격마다 측정되고 기록됩니다.

• 주요 용도는 시스템 및 애플리케이션의 성능 모니터링, 리소스 사용 추적, 용량 계획 등의 목적으로 사용됩니다.
  
  
  

비츠(beats) 에이전트 - 데이터를 수집해 중앙 수신지로 전송

• 비츠(Beats)는 Elastic Stack과 통합되어 데이터 수집을 담당하는 경량 데이터 수집기입니다.

• Beats는 로그, 메트릭, 이벤트 등 다양한 유형의 데이터를 수집하여 중앙 집중식으로 전송합니다.

① 파일비트(Filebeat)

• 다양한 위치에서 다음과 같은 유형의 시스템과 애플리케이션의 로그를 수집

  ▪ 디스크에 있는 파일
  ▪ HTTP API 엔드포인트
  ▪ 카프카, 애저 이벤트 수집기, GCP Pub/Sub 같은 메시지 스트림
  ▪ Syslog 리스너

② 매트릭비트(metricbeat)

• 지원되는 다양한 시스템과 프로토콜에서 시스템과 애플리케이션, 플랫폼의 매트릭을 수집

③ 오딧비티(auditbeat)

• 리눅스 감사 시스템(Linux Auditing System = auditd) 프레임워크에서 규정한 운영체제 감사 데이터를 수집

④ 하트비트(heartbeat)

• ICMP, TCP, HTTP 프로토콜을 통해 애플리케이션과 서비스 가동 시간과 가용성 정보를 수집하고 모니터링

⑤ 패킷비트(packetbeat)

• 분석 대상 호스트에서 실시간으로 네트워크 패킷 정보를 수집하고 복호화

⑥ 윈로그비트(winlogbeat)

• 윈도우 시스템에서 발생하는 이벤트 로그를 수집

⑦ 펑션비트(functionbeat)

• AWS Lambda 또는 Google Cloud Functions와 같은 서버리스 플랫폼에서 기능(function)으로 배포해 CloudWatch Logs, GCP Pub/Sub, AWS Kinesis 같은 클라우드용 로그 소스에서 데이터를 수집할 수 있는 특별한 비트