https://arxiv.org/pdf/2304.01982

논문 "Rethinking the Role of Token Retrieval in Multi-Vector Retrieval"(다중 벡터 검색에서 토큰 검색의 역할 재고)는 기존 다중 벡터 검색(Multi-Vector Retrieval) 모델의 비효율성을 해결하고자 XTR(Contextualized Token Retriever)이라는 새로운 접근 방식을 제안합니다.

---

1. 개요 (Abstract & Introduction)

1.1 연구 배경

• 다중 벡터 검색 모델(예: ColBERT)은 토큰 단위의 상호작용을 지원하여 높은 표현력을 갖춘 검색 성능을 제공함.
• 하지만, 비선형(Non-linear) 점수 계산 방식 때문에 효율적인 검색이 어려움.
• 기존의 다중 벡터 검색 모델들은 3단계 검색 과정을 거쳐야 함:
  1. 토큰 검색(Token Retrieval): 질의어(Query)의 각 토큰을 이용해 후보 문서의 토큰을 검색.
  2. 전체 토큰 수집(Gathering All Tokens): 검색된 문서에서 모든 토큰을 다시 불러옴.
  3. 문서 점수 계산(Scoring Candidates): 모든 토큰 벡터를 기반으로 문서를 점수화.

1.2 문제점

• 다중 벡터 모델의 가장 큰 단점은 복잡한 연산 비용(Computational Cost).
• ColBERT 등의 기존 모델은 문서 검색 후 모든 토큰을 다시 로드하고 점수를 계산하는 과정에서 속도가 느려지고 비용이 증가함.
• 토큰 검색 단계(Token Retrieval)를 효과적으로 개선하면 전체 검색 효율이 크게 향상될 수 있음.

1.3 제안 방법: XTR (ConteXtualized Token Retriever)

• 기존 다중 벡터 검색의 문제를 해결하기 위해 XTR을 제안.
• XTR은 가장 중요한 토큰을 먼저 검색하도록 훈련된 새로운 검색 모델.
• 주요 특징:
  • 기존 3단계 검색 과정을 단순화하여, 토큰 검색만으로 문서를 평가할 수 있도록 개선.
  • ColBERT보다 2~3배 더 효율적인 검색이 가능.
  • BEIR 벤치마크에서 2.8% 높은 nDCG@10 성능 향상을 기록.

---

2. 기존 다중 벡터 검색 모델의 한계

2.1 단일 벡터 검색(Single-Vector Retrieval)의 한계

• 기존 이중 인코더(Dual Encoder) 모델(예: DPR, GTR)은 질의(Query)와 문서를 각각 하나의 벡터로 변환한 후, 유사도를 계산하여 검색을 수행.
• 이 방법은 빠르지만 세밀한 토큰 수준의 표현력 부족으로 인해 정밀 검색에 약함.

2.2 다중 벡터 검색(Multi-Vector Retrieval)의 한계

• 다중 벡터 검색(예: ColBERT)은 문서 내 각 단어(token)의 벡터를 활용하여 질의(Query)와 문서(Document)의 유사도를 계산함.
• 이 방식은 표현력이 뛰어나지만 검색 속도가 느리고 연산 비용이 높음.

2.3 기존 3단계 검색 과정의 비효율성

1. 토큰 검색(Token Retrieval)
   • 질의어의 각 토큰이 관련 문서의 토큰을 검색하여 후보 문서를 선정.
2. 전체 토큰 수집(Gathering)
   • 검색된 문서의 모든 토큰 벡터를 다시 로드.
3. 비선형 점수 계산(Scoring)
   • ColBERT의 Sum-of-Max 연산을 통해 문서의 최종 점수를 계산.
   • 이 과정에서 RAM 사용량 및 연산량이 크게 증가하여 속도가 느려짐.

2.4 연구 질문

• "토큰 검색만으로도 충분히 좋은 검색 성능을 제공할 수 있는가?"
• "비선형 점수 계산 없이 문서를 직접 평가할 수 있는 방법이 있는가?"

---

3. XTR: 새로운 다중 벡터 검색 방법

3.1 핵심 아이디어

• 기존 방식의 토큰 검색(Token Retrieval) 단계를 강화하여 문서 점수 계산을 단순화.
• 가장 중요한 토큰을 먼저 검색하도록 학습하여, 별도의 전체 토큰 로딩 과정 없이 점수를 계산할 수 있도록 개선.

3.2 새로운 검색 방식

• 기존 모델(ColBERT)과의 차이점:
  • 기존: 문서의 모든 토큰을 로드한 후 점수 계산 → 느림.
  • XTR: 검색된 토큰만으로 점수 계산 → 빠름.
  • 기존 방식 대비 2~3배 더 빠른 검색 가능.

3.3 새로운 학습 목표

• 기존 모델들은 주로 점수 계산(Scoring) 단계에서 학습.
• XTR은 토큰 검색 단계에서 중요한 정보를 먼저 찾도록 학습.
• 이 방법을 통해, ColBERT보다 2배 높은 토큰 검색 정확도를 달성.

---

4. 실험 및 성능 비교

4.1 BEIR 벤치마크 성능

• ColBERT 대비 2.8 nDCG@10 성능 향상.
• 기존 이중 인코더(GTR) 대비 3.6 nDCG@10 성능 향상.
• T5-ColBERT보다 연산 비용을 4000배 절감.

4.2 검색 속도 비교

• XTR은 ColBERT보다 2~3배 빠른 검색 가능.
• 기존 방식에서 전체 문서 토큰을 로드해야 했던 단계를 제거하여 처리 속도를 개선.

4.3 다국어 검색 성능

• MIRACL 벤치마크에서 18개 언어의 검색 성능 비교.
• 기존 다국어 검색 모델보다 높은 성능을 보이며, 특히 저자원 언어에서 강력한 성능을 보임.

---

5. 분석 및 한계

5.1 XTR의 장점

• 기존 다중 벡터 검색 모델의 가장 큰 단점(속도 및 연산 비용 문제)을 해결.
• 점수 계산 방식을 간소화하여 ColBERT보다 2~3배 빠른 검색 가능.
• 기존 방법 대비 RAM 사용량이 적고 연산량이 적음.

5.2 한계점

• 현재 XTR은 MS MARCO 데이터셋에 의존하여 학습됨.
• 다국어 검색 성능이 뛰어나지만, MS MARCO 의존도를 줄이기 위한 추가 연구가 필요.
• 일부 경우에서는 여전히 모든 토큰을 검색해야 하는 상황이 발생할 수 있음.

---

6. 결론 및 요약

6.1 연구 기여

• 다중 벡터 검색에서 토큰 검색(Token Retrieval)만으로 검색 성능을 향상할 수 있음을 증명.
• 기존 방식(ColBERT)의 고비용 3단계 검색 과정을 단순화하여 검색 속도를 대폭 향상.
• XTR은 토큰 검색의 정확성을 향상시키는 새로운 학습 목표를 제안.
• BEIR 및 LoTTE 벤치마크에서 최신 성능을 기록하며, ColBERT보다 2~3배 빠른 검색이 가능.

6.2 향후 연구 방향

• XTR의 다국어 성능을 더욱 향상시키기 위한 연구.
• 다양한 검색 도메인(법률, 의료 등)에 적용하여 일반화 성능 검토.
• LLM 기반 검색 데이터 생성 기법과 결합하여 추가적인 학습 데이터 없이 더 나은 성능을 달성하는 방법 연구.

---

최종 요약

XTR은 다중 벡터 검색에서 토큰 검색만으로 문서를 정확히 평가할 수 있도록 개선된 새로운 모델입니다. 기존 ColBERT보다 2~3배 빠른 검색 속도, 2.8% 향상된 검색 성능, 4000배 적은 연산량을 달성하며, 다중 벡터 검색의 새로운 표준을 제시합니다.