---

출처 : ELK 스택으로 데이터 분석 - Minsuk Heo

---

🌼 ElasticSearch

• 오픈 소스 검색 및 분석 엔진
• 대량의 데이터를 신속하게 저장하고 검색하며, 데이터의 분석과 시각화를 지원하는데 사용

---

📕 ElasticSearch & 키바나 설치

• ElasticSearch는 JVM위에서 돌아가기 때문에 JDK설치 필수!!

• 운영체제에 맞게 설치(버전선택가능)

  • https://www.elastic.co/kr/downloads/elasticsearch : ElasticSearch설치
  • https://www.elastic.co/kr/downloads/kibana : 키바나 설치
  • 압축해제 후 배치파일 실행 (elasticsearch.bat, kibana.bat)

• 웹에서 localhost:9200주소로 이동해 ElasticSearch확인(설치됨)
  

• 엘라스틱서치 설정 (/elasticsearch-7.15.2/config/elasticsearch.yml)
  

---

📙 데이터 입력 조회 삭제

• index 조회
  • curl -XGET http://localhost:9200/classes : class라는 index(db)있는지 Read (리눅스에서는 -X라는 접두사가 붙음)
    
  • 404 error : elasticsearch안에 존재하지 않음
  • ?pretty: 깔끔하게 출력가능(JSON포맷)

• index 생성
  • curl -XPUT http://localhost:9200/classes
    
  • -XGET으로 확인해보면 classes라는 index생성된 것 확인 가능
    

• index 삭제
  • curl -XDELETE http://localhost:9200/classes
    
  • 삭제 후 GET으로 다시 확인해보면 404 error

• document(Row) 생성
  • curl -XPOST http://localhost:9200/classes/class/1/ -d '{"title" : "Algorithm", "professor" : "John"}'
  • index명/type명/id 순으로 기입

• -H "Content-Type: application/json" : HTTP 요청 헤더로 "Content-Type"을 지정(JSON 형식)
  

🐣 Document가 파일에 있을 경우

curl -XPOST http://localhost:9200/classes/class/1/ -d @fileName.json

---

📒 데이터 업데이트

• 필드 추가
  • curl -XPOST http://localhost:9200/classes/class/1/_update?pretty -d '{ "doc" : {"unit" : 1} }'
    
  • update 옵션 (doc이라는 property에 unit추가)
    

• unit을 2로 수정하고 싶다면 위와 동일
  • curl -XPOST http://localhost:9200/classes/class/1/_update?pretty -d '{ "doc" : {"unit" : 2} }'
    

• script를 사용하여 업데이트 (연산가능)
  • curl -XPOST http://localhost:9200/classes/class/1/_update?pretty -d '{ "script" : "ctx._source.unit += 5" }'
  • _source의 unit필드에 5를 더해라
    

---

📌 Bulk

여러개의 document를 한번에 elasticsearch에 삽입하는 방법

• curl -H "Content-Type:application/json" -XPOST http://localhost:9200/_bulk --data-binary @fileName.json

  • _bulk옵션, --data-binary추가
    
  • request must be terminated by a newline 에러 발생
  • json 파일 마지막에 enter 추가

• 삽입된 것 확인 가능
  

---

📗 매핑(text, long, date, ...)

• curl -H "Content-Type:application/json" -XPUT http://localhost:9200/classes/class/_mapping?include_type_name=true -d @classesRating_mapping.json

  • curl 리퀘스트에서 헤더를 명확히 설정(-H "Content-Type:application/json"), mappign을 생성할 때에는 include_type_name을 true로 설정
    
  • "type" : "mapper_parsing_exception" 에러 발생 → elasticsearch가 mapping 타입 중 string을 삭제하고 text로 변경하여 사용
    
  • get방식으로 조회해보면 mapping에 추가된 것 확인 가능
    

---

📌 데이터 조회(search)

• search option 추가

  • curl -XGET localhost:9200/classes/class/_search
  • 모든 데이터 조회 가능
    

• q(쿼리스트링)를 이용하여 조건 추가 가능

  • curl -XGET localhost:9200/classes/class/_search?q=title:Network&pretty
  • title이 Network인 것만 출력됨
    

• request body로 가능
  • curl -XGET localhost:9200/classes/class/_search -d ' { "query" : { "hits" : {"title" : "Network"} } } '

---

🌼 Aggregation

ElasticSearch의 document안에서 조합을 통해서 값을 도출할 때 사용

---

📕 Metric Aggregation

산술할때 사용 (avg, max, min ...)

• ex. curl -H "Content-Type:application/json" -XPOST "localhost:9200/_bulk" --data-binary @simple_basketball.json
  

• aggregation 형식
  • field(column)가 points인 것의 평균을 구해라(30+20/2)
  • size:0 : 여러개의 정보가 도출되는 것 대신에 우리가 보고싶은 결과값만 보기위해서
  • aggs: aggregation
    

• curl -H "Content-Type:application/json" -XGET "localhost:9200/_search?pretty" --data-binary @avg_points_aggs.json
  • aggr파일을 이용해서 평균값 출력
  • aggr파일의 "avg"값을 "max", "min", "sum"값으로 수정하면 max, min, sum값 출력됨
    

"aggr" 파일의 값을 "stats"로 하면 모든 산술값 출력됨

---

📙 Bucket Aggregation

group by(팀별로 grouping)

• ex. basketball이라는 index에 basketball_mapping.json 매핑
  

• index: basketball, type: record에 Chicago와 LA라는 팀의 데이터 삽입

  • curl -H "Content-Type:application/json" -XPOST "localhost:9200/_bulk" --data-binary @twoteam_basketball.json
    

• aggregation형식
  • field가 team인 것 별로 group by해라
  • "terms" aggregation 사용
  • "aggs"대신에 "aggregation"으로 해도 동일한 결과
    

• curl -H "Content-Type:application/json" -XGET "localhost:9200/_search?pretty" --data-binary @avg_points_aggs.json
  • aggrs파일을 이용하여 buckets값 출력
  • team이 chicago인 doc수 : 2, la인 doc수 : 2
    

---

🎀 응용(팀별로 통계)

Bucket Aggregation을 이용하여 팀별로 grouping후 Metric Aggregation을 이용하여 산술값 출력

• curl -H "Content-Type:application/json" -XGET "localhost:9200/_search?pretty" --data-binary @stats_by_team.json
  

---