소중한 첫 NLP기반 검색 서비스 프로젝트 쿠글.
소중한만큼 더 좋게 발전시킬 수 있을까 고민하고 강창성 멘토님께 자문을 얻은 결과를 정리한다.
- 사용자 로그를 통해 얻은 교훈
이 서비스를 친구들에게 소개하고 테스트를 요청했을 때 의도와 검색가이드를 줬음에도 불구하고,
사용자들은 기존의 요식 플랫폼의 검색을 하던 방식대로 검색을 하였다.
때문에 이 서비스가 맛집을 니즈로 탐색한다는 나의 목표보단 FAQ를 분류한다던가 이 경험을 바탕으로 해당 카테고리 검색의 품질 향상의 방향(버티컬)으로 더 고민하는 것이 맞다는 생각을 했다.
*버티컬 : 하나의 분야에 특화된 검색셜과를 제공하는 검색 개념
버티컬 검색에 대해 더 알아보기
https://www.venturesquare.net/1697
-
검색어 토큰화 방식과 임베딩 토큰화 방식 그리고 엘라스틱서치의 토큰화 방식이 모두 다르다.
과연 이게 괜찮은지? 구현의 편의성을 넘어 성과지표를 가지고 판단하고 싶어 구상중 -
내 쿼리DSL이 실제쿼리타임을 충분히 만족하는가?에 대한 생각
결론적으로 만족하지 못함. 사용자의 검색어가 길어졌을 때 지금 조합의 방식은 굉장히 위험하고, 엘라스틱서치를 활용하기는 했으나 효율적으로 사용하지 못하고 있다. 쿼리부분에서도 인덱싱과정에서도...
쿼리부분에 대한 문제와 해결방안
https://velog.io/@du-du-zi/TILDay-183
그외 개선 방안
- 검색어로 많이 쓰이는 단어(토큰)는 미리 저장해두고 가장 가까운 top n개의 토큰을 미리 계산하여 해쉬테이블로 따로 저장해두는것.
- 조합이 아닌 토큰들을 합쳐서 평균을 내보는 아이디어 - 결과 확인 필요
- 문서의 제목을 FastText 임베딩으로 만드는 방법
요즘 검색에서의 트렌드
-
Embedding-based Retrieval
https://arxiv.org/abs/2006.11632
간단히 이야기하면 문서를 인덱싱할때(inverted indexing) 검색어와 비슷한 임베딩을 퀀타이즈한다(비슷한것기리 묶는다).
인덱싱을 임베딩에 기초해서 하는 방식
*inverted indexing(역색인) : 문서를 프로세싱 할때 용어 하나하나에 대해서 테이블을 만듦. ES가 이 방식. -
알아두어야 하는 베이스 개념
Quantization
https://ieeexplore.ieee.org/document/5432202
https://mccormickml.com/2017/10/13/product-quantizer-tutorial-part-1/
- 검색어를 건들이지 않고 문서자체를 건드리는 아이디어
문서 자체를 검색어가 많은 단어를 미리 계산해둔다. 이 결과를 새로운 섹션으로 유사어를 미리 집어 넣어두어 실시간 계산의 부담을 줄임.
