Paper Review

BLEU: a Method for Automatic Evaluation of Machine Translation BiLingual Evaluation Understudy → BLEU

Attention Is All You Need | Transformer (2017) 우리는 순환(Recurrent) 구조와 합성곱(Convolution) 구조를 완전히 없애고 Attention으로만 구성된 새로운 모델을 제안한다 : Transformer

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (SBERT)(2019) 본 연구에서는 샴 네트워크과 트리플렛 네트워크를 사용하는 BERT의 수정 버전인 Sentence-BERT(SBERT)를 제안한다.

BART: Seq-to-Seq 모델을 Pre-Train하기 위한 Denoising Autoencoder인 BART를 제안한다

우리는 Generative한 Pre-training과, Discriminative한 Fine-tuning을 통한 Single model을 통해 자연어 이해 작업에서 강력한 성능을 달성하는 GPT를 제안한다.

ROUGE는 후보 요약과 참조 요약을 비교하는 자동화된 방법을 제안하며, 요약의 자동 평가에 효과적으로 사용될 수 있음을 보여준다.

ICML 2020에서 제안된 PEGASUS는 Gap-Sentences Generation(GSG)를 통해 pretrain되어 생성 요약문을 생성하는데 특화되어 있다는 특징이 있다.

Retrieval-Augmented Generation for Large Language Models: A Survey 논문을 통해 RAG의 역사, 발전 과정, 패러다임, 앞으로의 연구 방향에 대해 알아본다.

DIFF Transformer는 관련 context에 대한 attention을 amplify하고 noise를 줄이는 differential attention mechanism을 통해 Transformer보다 뛰어난 성능을 보인다