Abstract

Open-Domain QA Task에서 LLM을 할 때, 널리 사용하는 방법은 외부 Retriever로 Retrieve한 Passages를 Question과 같이 Prompt로서 주는 Retrieval-Augmented Generation(RAG)입니다. 하지만 이러한 방법은 Retrieved Passages를 잘 활용하지 못한다는 한계가 있는데, SURE는 질문에 답변이 될만한 Answer Candidate을 생성하고 그에 맞게 각 Passage를 요약하는 Conditional Summarization 을 통해 Quesiton-Aware한 Summary를 만들고, Instance-Wise Validation 과 Pair-Wise Ranking 을 통해 Best Answer를 도출합니다.

Notations

• $Retriever$ : BM25, DPR, Contriever와 같은 pretrained retriever
• $C^+_N$ : 전체 corpus $C$에서 Retriever로 Retrieve한 Top $N$개 Passages
• $C^+_N = Retriever(q,C,N)$
• $\mathcal{M}$ : LLM
• $\hat{a}$ : LLM Prediction
• $\hat{a}=\mathcal{M}(q,C^+_N)$

Model Pipeline

Answer Candidate Generation

질문 $q$와 retrieved passages $C^+_N$를 프롬프트 $p_{can}$에 넣어 LLM에게 주고 $K$개의 Answer Candidates $\tilde{y_k},\ k=1,2,...,K$ 를 구합니다.

• $\tilde{y}_k=\mathcal{M}(p_{can}(q,C^+_N))$

Conditional Summarization

$q$, $\tilde{y_k}$, $C^+_N$를 프롬프트 $p_{sum}$에 넣어 LLM에게 주고 각 candidate에 대응하는 $K$개의 summary $s_k$를 구합니다.

• $s_k=\mathcal{M}(p_{can}(q,C^+_N, \tilde{y}_k))$

Instance-Wise Validation

각 summary $s_k$가 valid한지 묻는 프롬프트 $p_{val}$를 통해 $s_k$의 validity $v(s_k)$를 구합니다.

• $v(s_k)=1,$ when $\mathcal{M}(p_{val}(q,\tilde{y}_k,s_k))$ =True or $v(s_k)=0$, else.

Pair-Wise Ranking

K개의 summary를 pairwise하게 비교하기 위해 모든 $s_i,s_j$쌍에 대해 둘 중 더 나은 summary를 고르도록 하고, 이를 토대로 raking $r(s_k,S_K)$를 구합니다.

• $r(s_k,S_K)=\sum\limits_{i\ne k}^Kr_{pair}(s_k,s_i)$,
• $r_{pair}(s_k,s_i) = \begin{cases} 1, & \mathcal{M}(p_{rank}(q,s_k,s_i))=s_k\\ 0 &\ \mathcal{M}(p_{rank}(q,s_k,s_i))=s_i \\ 0.5 &\ else\end{cases}$

Final Prediction

Validity $v(s_k)$와 ranking $r(s_k,S_K)$의 합을 최대로 하는 answer candidate $\tilde{y}_k$를 fianl prediction으로 정합니다.

• $\hat{a}=\tilde{y}_{k^*}$, $k^*=\argmax\limits_kv(s_k)+r(s_k,S_K)$