DIFF Transformer는 관련 context에 대한 attention을 amplify하고 noise를 줄이는 differential attention mechanism을 통해 Transformer보다 뛰어난 성능을 보인다

Retrieval-Augmented Generation for Large Language Models: A Survey 논문을 통해 RAG의 역사, 발전 과정, 패러다임, 앞으로의 연구 방향에 대해 알아본다.

RAG(Retrieval Augmented Generation)는 정보 검색(IR)과 텍스트 생성(Generation)의 두 단계를 결합한 시스템으로, QA 시스템이나 대화형 챗봇에서 강력하고 유연한 답변을 제공할 수 있는 기술이다.

AI 딥러닝 모델을 복잡한 프론트엔드 코딩없이 서빙할 수 있게 해주는 Streamlit의 기초 문법에 대해 알아보자

ICML 2020에서 제안된 PEGASUS는 Gap-Sentences Generation(GSG)를 통해 pretrain되어 생성 요약문을 생성하는데 특화되어 있다는 특징이 있다.

ROUGE는 후보 요약과 참조 요약을 비교하는 자동화된 방법을 제안하며, 요약의 자동 평가에 효과적으로 사용될 수 있음을 보여준다.

우리는 Generative한 Pre-training과, Discriminative한 Fine-tuning을 통한 Single model을 통해 자연어 이해 작업에서 강력한 성능을 달성하는 GPT를 제안한다.

BART: Seq-to-Seq 모델을 Pre-Train하기 위한 Denoising Autoencoder인 BART를 제안한다

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (SBERT)(2019) 본 연구에서는 샴 네트워크과 트리플렛 네트워크를 사용하는 BERT의 수정 버전인 Sentence-BERT(SBERT)를 제안한다.

Attention Is All You Need | Transformer (2017) 우리는 순환(Recurrent) 구조와 합성곱(Convolution) 구조를 완전히 없애고 Attention으로만 구성된 새로운 모델을 제안한다 : Transformer

BLEU: a Method for Automatic Evaluation of Machine Translation BiLingual Evaluation Understudy → BLEU