elk stack 을 공부 하며 각각의 모듈을 활용해보기
검색엔진의 흐름
RDB 와의 차이 혹은 RDB -> Elastic search 로 까지의 과정
elastic search 에서 추구하는 클러스터 노드 데이터 분산처리와 고가용성에 대해 알아보기
### 개념들은 다른 Elastic 게시글에 포스팅 했으니 참고..
일단 검색엔진을 구현해보기 위해서는 빅데이터 까진 아니더라도 어느정도 크기가 되는 데이터가 필요했고, 처음엔 Kibana 에서 제공 해 주는 sample data 를 사용하려고 했지만 영문이었기 때문에 한글로 된 데이터가 필요했다.
때문에 조금 검색해보니 과거 국민청원 데이터를 받아올 수 있었고, 이 자료로 공부와 테스트를 해보는 사람이 많았기에 데이터를 따로 모아놓은 github 저장소를 clone 해서 데이터를 가져올 수 있었다.
우리조가 하고 싶었던 건..
Elastic search 검색엔진 적용
검색엔진에 nori 한국어 형태소 분석기 적용
검색엔진에 동의어 설정
Fuzzy 와 Did You Mean 검색 방식 적용으로, 연관검색 및 추천검색어, 오탈자 수정 검색어 구현
Logstash 로 우리가 가지고 있는 기존의 RDB 데이터 에서 Elastic search로 데이터를 옮기는 과정의 파이프 라인 구축
그 과정속에서 Input, Filter, Output 에서 사용하는 플러그인 알아보기
Filter 과정속에서 커스텀 할 수 있는 부분을 알아보기
Kibana Dashboard 구현
지금 수업 진도가 아직 boot 를 하고 있는 상황은 아니기 때문에 Spring 5버전대로 진행
구현하면서 추가 예정
main (메인 랜딩 페이지)
search (메인에서 검색 시)
detail (게시글 상세)