# NAACL

delee12

Background 1) Faithfulness Hallucination 2) Abstractive summarization Extract summarization Introduction 원문에 제시된 정보와 일치하는 요약 생성하는거 어려움. 성능은 높아졌지만, hallucination 있음. -intrinsic hallucination: 원문에 있는 정보 사용해서 합성 -extrainsic hallucination: 원문에 없는 단어로 요약에 사용 [Method] hallucination 있는 부분 후보 & 선택해가지고 (selection) 바꾼다! 1) generation: ner 원문에 의미유형 비슷한거랑 대체해서 후보 요약 생성 2) selection: faithful 요약 높이기 위한 후보 [Contribution] Method entity, number? 수정하는데 초점을 뒀다. ex.hallucination이 많이 발생해서 거

delee12

paper: https://aclanthology.org/2022.naacl-main.290/ > velog: https://velog.io/@zvezda/On-Transferability-of-Prompt-Tuning-for-Natural-Language-Processing-NAACL-2022 Abstract prompting tuning의 장점? : 단점: 파라미터 수가 적어서 convergence가 오래 걸린다. 해결책: prompt transfer 다른 모델 두개를 두고 or 다른 태스크를 두고 실험하는 거 시도 결과: 비슷한 유형의 task면 prompt task가 충분히 의미가 있다. 해석: 여러개 메트릭 사용해봤을 때, 향후 적용할 수 있는 메트릭 제안 (zero-shot) Introduction Prompt tuning이란? vertual token이지만 learnable하게 만들어서 걔만 학습시킨다.

delee12

0. Abstract multilingual language 모델이 발전하면서 cross-lingual zero-shot transfer 할 수 있는 능력치도 상승함. 하지만 어떤 properties들이 언어간에 transfer 되는지에 대한 연구는 부족함. 본 연구에서는 다양한 실험들을 통해서 linguistic properties들의 효과에 대해서 분석한다. 이를 위해서 4가지 언어를 사용하며 각각의 script, word, order, syntax에 변화를 줘서 실험해본다. 결과적으로 언어간의 순서가 다를 때 sub-word overlap의 부재는 zero-shot transfer 성능에 엄청 큰 영향을 미쳤다. (한국어랑 영어가 예시이겠군) 그리고 언어간의 transfer performance랑 word embedding alignment가 큰 상관관계가 있었음. 앞으로 연구를 할때 implicit한 정보말고 word embedding alignment에 힘줄 것을