Phrase Retrieval in ODQA

Current limitation of Retriever-Reader ODQA

• Error propagation
  • Reader가 아무리 뛰어나도 Retreiver가 제대로 된 context를 전달하지 못한다면 전체 프로세스의 성능이 떨어진다.
• Query-dependent encdoing
  • query에 따라 answer span의 encoding이 달라진다.
  • e.g., BERT retriever를 사용할 때 query와 context를 concat해서 모델의 결과를 얻기 때문에 query가 달라지면
    • context와 concat된 embedding의 encoding을 매번 다시 해야한다.
    • encoding 결과도 매번 달라진다.

Retriever-Reader 단계를 거치지않으면서 이러한 문제점들을 해결할 수 있는 방법론으로 제시된 것이 phrase retrieval이다.

Solution

1. Context의 모든 phrase들을 enumeration(열거)한다.
2. phrase에 대한 embedding vector를 key로 하여 mapping한다.
3. query vector는 query가 들어올 때마다 계산.
4. queyr와 key vector를 비교하는 문제로 치환.

학습과정을 비교

• 기존의 방법
  • phrase, question, document를 score 함수에 넣어서 모든 score 조합을 구한다.
  • Retriever-Reader를 F라는 함수 하나로 표현한 것.
  • F는 a(answer candidates), d, q를 넣으면 알아서 예측된 answer를 도출한다.
  • query가 달라질 때마다 score 함수를 다시 계산해야한다.
• Phrase retrieval
  • F 대신 Question encoder와 Pharse encoder의 조합으로 score 계산.
  • H: a, d를 입력으로 받아 vector space로 보내고 이들간의 가장 유사한 vector를 찾는다. 내적을 하든, 거리 계산을 하든.
  • H 함수의 결과들은 미리 모두 계산됨.
  • 따라서 query의 입력이 발생할 때마다 Q함수만 계산하면 된다.
  • 문제점
    • F를 G, H로 분해할 수 있다는 가정 자체가 틀릴 수 있다.
    • F를 수학적으로 분리하는 것이 아니라, G와 H를 정의하고 이것이 F를 최대한 근사하도록 노력하자.

Key Challenge

어떻게 phrase를 vector 상에 잘 mapping할 것인가?
-> Dense, sparse embedding을 둘 다 사용해보자.

Dense-sparse representation for Phrase

• Dense vectors: 통사적, 의미적 정보를 얻는데 효과적
• Sparse vectors: 어휘적 정보를 담는데 효과적

Concat

두 가지 방법을 합치는 방법은 phrase ODQA를 진행할 때, phrase 별로 dense, sparse embedding을 통해서 vector를 구하고 이를 concat하는 것이다.

Dense representation

answer span의 start, end token에 해당하는 hidden state vector를 통해 phrase vector(dense vector)를 생성한다.

cohrency vector

• phrase가 문장 구성 요소에 해당하는지 나타낸다.
• 구를 형성하지 않는 phrase를 걸러내기 위해 사용
• start vector, end vector를 통해 계산
  
  Question embedding
• CLS token으로 생성
• 일반적인 문서 embedding과 동일

Sparse representation

contextualized(문맥화된) embedding 활용해서 가장 관련성이 높은 n-gram으로 sparse vector 구성.
1. target으로 하고 있는 phrase의 주변 단어들과 유사성을 측정
2. 유사성을 각 단어에 해당하는 sparse vector에 넣어준다.

• TF-IFD와 유사하다. 다른 점은 phrase, sentence마다 weight가 dynamic하게 변한다.
• unigram, bigram도 활용해서 겹치는 정보들을 활용 가능

Scalability Challenge

wikipeida 데이터를 활용하면 보통 60bilion개의 phrase를 활용하게 된다. 이러한 거대 데이터에 접근해 indexing, searching을 하기 위해서는 scalability가 고려되어야 한다.

• storage: pointer, filter, scalar quantization 등을 통해 (240TB를 1.4TB까지 줄일 수 있다)
• search: FAISS 활용
  • FAISS는 dense vector만 검색 가능하고 sparse vector는 검색 불가능.
  • Phrase ODQA를 통해 Dense vector와 sparse vector를 합칠 것이므로, dense vector를 우선 검색해본다.
  • sparse vector에 대해서 다시 score를 측정해 FAISS 검색 결과를 reranking

Results & Analysis

SQuAD에서 DrQA(Retreier-reader)보다 3.6% 성능향상이 있고, inference speed는 68배 빨랐다고 한다.

다른 Retriever-Reader보다 속도가 빨랐다. 또한 CPU 연산에 의존하기 때문에 GPU 연산이 필요없다는 장점 아닌 장점도 있다.

Limitation

• RAM 용량이 많이 필요하다.
• 최신 Retriever-Reader 모델들 보다 성능이 낮다
  • Natural Questions에서 성능이 낮았다.
  • Decomposability gap(F 함수를 G, H로 분리)이 원인

Decomposability gap

G, H를 통해 F를 근사하는 것 자체가 오류가 발생할 수 있다. 왜냐하면 F는 매우 복잡한 Retrieval-Reader를 나타내는 함수이기 때문이다. 따라서 필연적으로 G와 H를 통해 F를 근사하는게 정확하지 않다는 것이다.