How to Adapt Your Pretrained Multilingual Model to 1600 Languages(ACL, 2021)

• multilingual !!
• 자세한 논문 정리 확인 링크:
• 논문 링크: https://arxiv.org/pdf/2106.02124.pdf

Abstract

• Pretrained multilingual models (PMMs)을 새로운 언어에 평가해보기
• Challenging한 이유
  • (1) the small corpus size
  • (2) the narrow domain
• 논문에서 발견한 사실
  • continued pretraining, the simplest approach, performs best.

발표 정리

• PMM 등장 이전
  • general한 representation을 만들고자하는 연구(word embedding 차원에서)
  • transformer based
• 대표적인 PMM
  • multilingual BERT
  • XLM
• PMM
  • labeled data가 필요없음
• 실험 결과
  • 언어 유사성이 모델 성능 향상에 미치는 영향이 크다
  • 도메인의 한계가 성능에 끼치는 영향력이 크다

How Far are We from Robust Long Abstractive Summarization? (2022, EMNLP)

Abstract

• abstractive summarization -> 많은 연구들
• fine-grained human annotations를 수행 -> 긴 문서 abstractive 요약 생성하는 시스템 만들고자 함(reliable한 요약을 얻고자)
  • 긴 문서에 대해서, constant strive를 보임(SOTA ROUGE 결과) -> 더 관련이 있지만 사실은 아닌 것들을 생성할 수 있도록