[ ELK Series] Elastic Search - Data 수집 및 시각화

‍정진철·2023년 7월 12일
0

Elastic Search

목록 보기
1/1

1. 데이터 기본 구조

Index 기본 구조

GET index_name/
↓ {
"index_name": { "aliases": {
... },
"mappings": {
... },
"settings": {
... }
} }

Aliases ( Index 별칭 관리)

1. 조회
GET _alias/alias_name(생략 가능)
2. 추가 및 제거 POST _aliases {
"actions": [ 
{
"add" OR "remove" : { 
"index": "index_name", 
"alias": "alias_name"
    }  
  }
 ] 
}

Mappings ( Index 필드 타입 관리)

1. 조회
GET index_name/_mapping

2. 수정
PUT index_name/_mapping 
{
"properties": { 
"field_name": {
"type": "field_type" 
  }
 } 
}

Settings ( Index 구성 설정 관리)

1. 조회
GET index_name/_settings

2. 수정
PUT index_name/_settings 
{
  ... 
}

Index Template (Index 구성정보를 포함하는 Template)

- Index 생성 전 Elasticsearch에서 구성 및 관리 
1. Index pattern : 여러 Index의 metadata 집합 
2. Aliases : Index 별칭
3. Mappings : Index 필드 타입
4. Settings : Index 구성 설정

2. 데이터 수집

Data Visualizer

STEP 1

  • File Upload Size 조정 하기(Default : 100MB → 최대 1GB)
  • Stack Management > Advanced Settings > “Maximum file upload size“ 1GB 변경 > Save changes

STEP 2

  • Kibana > Machine Learning > Data Visualizer > File

STEP 3

  • 샘플 데이터 Upload
  • Data Upload > Import > Index_name 지정 > Import > complete 확인

STEP 4

  • 샘플 데이터 Upload
  • Data Upload > Import > Index_name 지정 > Import > complete 확인

STEP 5

수집 데이터 확인 ( Discover)

Index Management

Dev Tools


3. 데이터 전처리

필드 타입 확인

GET data_upload_01/

Mappings 필드, Ingest Pipeline 추가

GET data_upload_03/

GET data_upload_03/_search


4.데이터 시각화

Visualization – Data table

Visualization - Metric

Visualization - Lens

Dashboard

  • Kibana > Dashboard > Create dashboard


profile
WILL is ALL

0개의 댓글