(ongoing) Mutual Information Alleviates Hallucinations in Abstractive Summarization (EMNLP 2021)

Abstract

• abstractive summarization 성능이 많이 좋아지기는 했는데, 그래도 hallucination이 많음
  • output이 source와 관련 없는 것 등등
• 이전 연구에서는 고치거나 원인을 파악하려고 했는데 크게 성공한 것 같지는 않음
• 본 논문에서는 어떤 모델이 얼마나 더 hallucination을 만드는지 판단하는 criterion을 제시함
  • potential explanation: model은 generation할 때 어떤 단어로 continue할지 불확실하면 high marginal probability (e.g. train set에서 높은 빈도로 나오는 단어들) 를 선호함
  • 위의 finding을 이용하면, decoding 단에서 real time intervention 해서 hallucination 막는 것도 가능함
• decoding strategy 제안: pointwise mutual information of the source and target token (rather than pure probability of target token) when model's uncertain
• XSum dataset에 해본 결과 ROUGE, BERTS score 유지하고 hallucination을 줄였음

1 Introduction

• abstractive summarization의 개괄
  • abstractive summarization: news articles, highlighting main points in technical documents 등에 사용됨
  • abstractive summarization의 모델은 보통 probabilistic text generators: fluent & human like generation이 가능함
• hallucination이란?
  • model이 hallucinate facts 한다는 것: e.g. original text에는 없었던 정보를 output에다가 넣어버리는 것
  • 왜 문제인가?: unsubstantiated content를 제공함으로써 misinformation spread 등의 악영향을 주므로
• 선행연구는?
  • hallucination의 원인인 ground truth summary를 수정하는 등 training corpora를 specific하게 만듦
  • model architecture, training strategy를 수정하는 경우도 많았음
  • 그래도 generation 수준에서 hallucination을 막는 efficient & robust technique은 제안된 바가 없었음
• 본 연구는?
  • simple criterion 제안: source document에 없는 내용에 대한 probability assigning
  • generation 단에서 start of hallucination를 high model uncertainty about the next token과 link했음, 계산은 conditional entropy
  • hypothesis: hallucinations may be due to a tendency of models to default to placing probability mass on tokens that appeared frequently in the training corpus, a behaviour by language models previously observed in several NLP tasks (training corpus에 나타났던 token에 higher probability 주는 tendency 말하는 듯)
• 본 연구의 decoding strategy
  • model exhibits high uncertainty, decoding objective를 source document와 target token 사이의 pointwise mutual information (PMI) 으로 바꾸었음: model이 token document의 token에 더 방점을 둘 두 있도록
  • PMI obejctive로 completely 바꾸면 ROUGE-L score 3.13% 하락, conditional & temporary change는 0.977% 하락, FACTScore metric은 increase
• experiments
  • strong correlation between conditional entropy & start of a hallucination (on XSUM dataset)
  • CPMI?? 뭔 소리여
  • ROUGE & BERTS score maintaining을 보임

Background

Mutual Information?

• 정보이론에서 나옴
• entropy: 정보량을 나타내는 평균 최소 자원량
• 확률이 작은 사건을 효율적으로 표현하기 위해 상대적으로 많은 자원 사용, 확률이 큰 사건을 효율적으로 표현하기 위해서는 자원을 적게 씀
• X 사건에 대한 entropy, Y 사건에 대한 entropy가 있으면 두 사건이 연관되어 있다고 하면 joint entropy를 둘의 교집합으로 나타낼 수 있고, 이것이 X와 Y의 mutual information임

Background

• Rouge-L: LCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정: hallucination 아닌 단어도 hallucination으로 인식할 수 있음

3 Models

• Shannon entropy로 정량화: 일반 entropy(log entropy)는 uncertainty 측정에 알맞지는 않아서, shannon entropy 사용해서 hallucination 시작지점을 알 수 있지 않을까!
• decoding: shannon entropy가 threshold보다 높을 때 PMI로 교체 -> 원래의 log probability와 PMI(의 일부를 첨가)를 넘나들음
• BART든 뭐든 거기에다가 이 CPMI criterion을 갖다 붙이면 사용 가능함 (CPMI vs beam search라고 생각하면 될 듯)