SimCLS (Liu and Liu, 2021, ACL)

📄Paper : SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization

✨ Contribution 정리

1. MLE 학습으로 인한 한계점을 보완하기 위해 Contrastive learning을 이용한 2단계 추상 요약 프레임워크 제안

2. CNN-DM 및 XSum 데이터셋에서 SOTA 달성

추가로, 본 논문에서 제안한 프레임워크의 요약문 품질 향상을 증명하기 위해
2가지 semantic-level에서의 Fine-grained 분석을 제공하였다.

SimCLS

Seq2Seq learning framework의 한계점들을 보완한 2단계 추상 요약 프레임워크.
Contrastive learning과 Metric-oriented training을 통해 이 한계점들을 보완하였다.

Contrastive learning

같은 의미의 텍스트들은 다른 의미의 텍스트들보다 더 비슷한 representation을 갖도록 하는 self-supervised learning

Source Document와 Candidate summaries, Reference summary를 semantic space에 매핑했을 때,

Document의 핵심 내용인 Reference summary와 Gold summary는 Document와 가장 가깝게,
핵심 내용이 아닌 Silver summary의 경우 Document와 멀게 매핑되도록 학습한다.

---

🌱 세미나 자료

1. 딥러닝논문읽기모임 발표영상 (Youtube)

2. 세미나 자료