자세한 내용은 https://velog.io/@chaehee/Mutual-Information-Alleviates-Hallucinations-in-Abstractive-Summarization-EMNLP-2022에서 확인할 수 있다

Abstract

• abstractive summarization model에서 생성된 언어의 질이 향상되었지만, 해당 모델들은 여전히 환각 하는 경향성을 가지고 있다
  • 즉, 결과인 내용은 source document에 의해서 이루어지지 않는다
• 수 많은 연구들이 이를 고치려고 했지만 한계가 있었다
• 본 논문에서는 간단한 기준을 정의한다
  • 어떤 모델이 generation 동안에 환각된 내용을 assign할 확률이 더 높은지
  • 해당 발견은 환각에 대한 상당한 설명을 제공한다
  • decoding strategy 제시
    • source와 target 문장에서 최적화를 위한 전환 제시

Introduction

• 긴 문장을 짧은 요약으로 응결하는 abstractive summarizationn
  • 여러 응용 사례들이 있다
    • 뉴스 기사에 대한 overview 제공 등
  • 주로 probablistic text generators를 사용해서 수행
  • 그러나 해당 모델들은 사실에 환각을 준다고 알려져있다
    • 예시로, 결과에서 제공된 정보는 원본 텍스트에서 제시되지 않은 경우
• 본 논문에서 기여하고자 하는 바
  • 1 간단한 criterion 제시
    • conditional entropy 정의
  • 2 모델이 high uncertainty를 맞이하면 decoding objective를 pointwise mutual information으로 바꾼다