미니 프로젝트 - 국민청원 데이터 검색엔진

이동명·2023년 6월 30일
0

# 1 . 프로젝트 취지


  • elk stack 을 공부 하며 각각의 모듈을 활용해보기

  • 검색엔진의 흐름

  • RDB 와의 차이 혹은 RDB -> Elastic search 로 까지의 과정

  • elastic search 에서 추구하는 클러스터 노드 데이터 분산처리와 고가용성에 대해 알아보기


### 개념들은 다른 Elastic 게시글에 포스팅 했으니 참고..

# 2 . 프로젝트 기획


일단 검색엔진을 구현해보기 위해서는 빅데이터 까진 아니더라도 어느정도 크기가 되는 데이터가 필요했고, 처음엔 Kibana 에서 제공 해 주는 sample data 를 사용하려고 했지만 영문이었기 때문에 한글로 된 데이터가 필요했다.

때문에 조금 검색해보니 과거 국민청원 데이터를 받아올 수 있었고, 이 자료로 공부와 테스트를 해보는 사람이 많았기에 데이터를 따로 모아놓은 github 저장소를 clone 해서 데이터를 가져올 수 있었다.

우리조가 하고 싶었던 건..

  • Elastic search 검색엔진 적용

  • 검색엔진에 nori 한국어 형태소 분석기 적용

  • 검색엔진에 동의어 설정

  • Fuzzy 와 Did You Mean 검색 방식 적용으로, 연관검색 및 추천검색어, 오탈자 수정 검색어 구현

  • Logstash 로 우리가 가지고 있는 기존의 RDB 데이터 에서 Elastic search로 데이터를 옮기는 과정의 파이프 라인 구축

  • 그 과정속에서 Input, Filter, Output 에서 사용하는 플러그인 알아보기

  • Filter 과정속에서 커스텀 할 수 있는 부분을 알아보기

  • Kibana Dashboard 구현

  • 지금 수업 진도가 아직 boot 를 하고 있는 상황은 아니기 때문에 Spring 5버전대로 진행

  • 구현하면서 추가 예정

# 3. 화면


main (메인 랜딩 페이지)

search (메인에서 검색 시)

detail (게시글 상세)


profile
Web Developer

0개의 댓글