논문 리뷰

원본 영상 : Stanford CS230: Deep Learning | Autumn 2018 | Lecture 8 - Career Advice / Reading Research Papers 논문을 읽는 방법을 파악한다.논문 목록을 작성한다.(특정 주제에 대한 논문을 여

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2005.11401Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks\-> 지식 집약적

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2005.11401Pre-trained neural language models have been shown to learn a substantial a

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2005.11401our models leverage two components: (i) a retriever pη (z|x) with parameter

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2005.11401RAG는 네 가지 오픈 도메인 QA 작업 모두에서 다른 모델보다 우수한 성능을 보임(SOTA)"closed-book" 접근 방식(파라미

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2005.11401\-> seq2seq 모델보다 더 구체적이고 다양하고 사실적인 언어를 생성하는 모델(RAG)을 만든다.문제 상황 : 1) 모델이 지식에

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1706.03762Attention Is All You Need\-> Attention 이 전부다.The dominant sequence transduc

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1706.03762순환 신경망(Recurrent Neural Networks), 장단기 메모리(Long Short-Term Memory)와 게이트 순환

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1706.03762시퀀셜(순차적) 연산을 줄이려는 목표는 Extended Neural GPU, ByteNet, ConvS2S의 기반이 되며, 이 모델들은

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1706.03762셀프 어텐션 레이어(self-attention layers)의 다양한 측면을 순환 레이어(recurrent layers), 합성곱 레이

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2005.11401\-> 순환 계층(recurrent layers)으로 인해 발생하는 연산량 증가, 메모리 제약 등의 한계를 극복하는 언어 모델 아키텍처

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2312.10997Retrieval-Augmented Generation for Large Language Models: A Survey\-> LLM 모

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2312.10997LLM이 직면한 문제 : 훈련 데이터를 넘어서는 정보 또는 최신 정보를 요구하는 상황에서 정보할루시네이션(환각) 발생RAG가 해결책 :

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다. > 논문 URL - https://arxiv.org/abs/2312.10997 Overview of RAG RAG의 개념과 필요성 기존 ChatGPT 등 대형 언어모델(LLM)은 학습 시점 이후의 최신 정

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2312.10997검색 결과를 바로 LLM에 입력하는 것은 바람직하지 않다.검색 결과를 조절하는 2가지 방식 소개Context CurationRerank

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2312.10997\-> Naive RAG, Advanced RAG, Modular RAG을 포함한 RAG 패러다임의 발전 과정을 상세하게 분석하여 현재

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2501.09136Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG\-> 에이전틱\* R

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2501.09136GPT-4, PaLM, LLaMA와 같은 대형 언어 모델(LLM)은 인간과 유사한 텍스트 생성 및 자연어 처리 능력을 통해 인공지능(A

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2501.09136Retrieval(검색)외부 데이터 소스(지식 base, API, vector DB 등)에서 쿼리와 연관된 데이터를 검색한다.고급 검색

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2501.09136워크플로우쿼리 제출 및 평가:사용자 쿼리를 마스터 에이전트가 수신·분석하여 적합한 정보 소스 결정지식 소스 선택:구조화 DB: 텍스트-

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2501.09136에이전트 RAG 구조의 세부 분류 체계를 제시하고, 의료·금융·교육 등의 산업 분야에서의 주요 응용 사례를 강조하며, 실용적인 구현 전

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/2401.15884Corrective Retrieval Augmented Generation\-> 교정형 RAGLarge language models (

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다. > 논문 URL - https://arxiv.org/pdf/2401.15884 Introduction LLM은 뛰어난 언어 이해 및 생성 능력을 갖췄지만, 내부 지식만으로는 항상 정확한 정보를 제공하지 못해 환

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/2401.15884Web Search

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/2401.15884CRAG는 네 가지 데이터셋(PopQA, Biography, PubHealth, Arc-Challenge)에서 평가되었다. 각 데이터셋

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/2401.15884검색기가 부정확한 결과를 반환하는 상황에 주목한다. 이를 위해 검색 결과를 스스로 교정하고, 문서 활용도를 높여 생성 성능을 개선하는

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2310.11511Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflect

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2310.11511Conclusion

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2310.11511SELF-RAG는 검색과 자기 성찰을 통해 대형 언어 모델(LLM)의 품질과 사실성을 향상시키면서도, LLM 고유의 창의성과 유연성을

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2310.11511SELF-RAG와 다양한 베이스라인 모델을 여러 다운스트림 과제에서 평가하였다. 평가에는 전체적인 정답률, 사실성, 유창성을 측정하는

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/2310.11511RAG는 검색이 필요하지 않거나, 검색된 구절이 관련이 없을 때에도 일정한 수의 구절을 무조건적으로 가져와 사용하면, 언어 모델의 활용

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1810.04805BERT: Pre-training of Deep Bidirectional Transformers for Language Understa

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1810.04805언어 모델의 사전학습은 다양한 자연어처리(NLP) 작업의 성능을 크게 향상시키는 것으로 나타난다. 이러한 작업에는 문장 간 관계를 예측

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1810.04805목적 : 대규모 비지도(unlabeled) 텍스트 데이터로부터 일반적인 언어 표현을 학습한다.방식 :Masked Language Mod

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1810.04805정의 : GLUE(General Language Understanding Evaluation) 벤치마크는 다양한 자연어 이해 과제들로

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/abs/1810.04805현재의 사전학습 기법들은 표준 언어 모델이 단방향(unidirectional) 구조라는 점이며, 이로 인해 사전학습에서 사용할 수 있는

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/1907.11692RoBERTa: A Robustly Optimized BERT Pretraining Approach\-> RoBERTa : 견고하게 최

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/1907.11692ELMo, GPT, BERT, XLM, XLNet과 같은 자기지도 학습(self-training) 기반 방법들은 자연어 처리에서 상당한

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/1907.11692BERT는 입력 토큰을 무작위로 마스킹하고, 그 마스크된 토큰을 예측하는 방식에 의존한다.BERT의 원래 구현에서는 마스킹 작업을 데이

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/1907.11692여러 학습 전략 및 하이퍼파라미터(동적 마스킹, NSP 제거, 대용량 배치, byte-level BPE 등)를 결합해 RoBERTa라

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://arxiv.org/pdf/1907.11692\-> 원래의 BERT가 실제로는 충분히 학습되지 않았다는 점(undertrained)을 밝혀냈고, 이후 발표된 모든 후속 모델들과 동

‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.논문 URL - https://www.semanticscholar.org/paper/Consumer-Credit-Risk-Models-Via-Machine-Learning-Khandani-Kim/d64a084