Sparse Retrieval

Sparse

• 키워드 매칭이 이제 올드한 방법이라고 생각할지도 모르지만, 아직도 많은 검색의 중심이 키워드 매칭에 있다.
• inverted index를 통해 키워드를 포함하고 있는 도큐먼트를 빠르게 접근할 수 있다.
• 어느 도큐먼트가 해당 키워드와 가장 relevant한지 확인하는 방법은 여러가지가 있다.
  - TF(Term Frequency)는 가장 초기의 방법으로, 키워드의 빈도가 가장 많은 도큐먼트가 가장 relevant하다 판단한다. 다만, 이러면 가장 기다란 문서가 많이 relevant하게 평가된다.
  - TF를 보조하기 위해 IDF가 등장하는데, 이것은 문서에 얼마나 rare하게 단어가 등장하느냐를 나타낸다. 문서에 해당 단어가 적을수록 IDF 점수가 높다.
  - 둘을 합쳐서 TF-IDF라 한다. 해당 단어가 문서에 자주 등장하지만 컬렉션으로 봤을때는 레어하면 해당 부분에서 TF-IDF가 높다.
• BM25(Best Matching 25): TF-IDF의 개선 버전
  - de facto standard for sparse retrieval
  - 주요 파라미터
  - k1: term frequency saturation -> 엄청 긴 문서가 단순히 키워드를 반복해서 점수가 높은거를 방지
  - b: document length normalization -> 긴 문서가 불공평하게 패널티 얻는것을 방지.

SPLADE

• 전통적 sparse retrieval은 synonyms 처리를 못한다. -> learned sparse retrieval의 등장
  - SPLADE: BERT 모델을 활용하여, 검색의 context를 알 수 있음.
  - 예) AI 검색하면 "artificial intelligence"나 "machine learning"으로 쿼리 확장 가능
  - https://www.pinecone.io/learn/splade/
  - https://qdrant.tech/articles/sparse-vectors/

Relevance of Sparse Retrieval

• inverted index와 함께라면 대규모 서치 애플리케이션에서 ideal하다.
• 키워드 매칭이기 때문에 interpretability가 높다. Dense는 opaque하다, 이와 반대로
• 하이브리드 서치의 근본이다. 하이브리드에서는 후보 문서를 식별하는 첫 필터로 사용된다. 필터링된 애들은 계산이 무거운 dense model에 의해 리랭킹되게 된다.

Philosophical Divide: Keywords vs. Concepts

• Sparse retrieval은 lexical matching의 원리다. 유저가 어떤 단어를 검색할지 명확하게 안다고 가정한다.
• Dense Retrieval은 semantic matching의 원리다. 유저가 특정 단어가 아닌 컨셉에 관심이 있다고 가정한다.
• 둘은 각 방면에서 superior하다. 둘을 잘 조합하는게 미래에 중요하다

출처: https://www.sandgarden.com/learn/sparse-retrieval