‼️ 개인 학습 내용으로, 오류가 있을 수 있습니다.

논문 URL - https://arxiv.org/abs/2312.10997

논문을 읽으며 생각할 것들

저자가 이 논문을 통해 이루고자 한 것은 무엇인가?

-> Naive RAG, Advanced RAG, Modular RAG을 포함한 RAG 패러다임의 발전 과정을 상세하게 분석하여 현재 직면한 과제를 설명하고 연구 개발을 위한 잠재적 방향을 제시한다.

논문의 핵심 요소는 무엇인가?

• RAG 연구 동향

  1. 추론(inference)
  • LLM 등장 초기에는 RAG 연구가 LLM의 강력한 문맥 학습(in-context learning) 능력을 활용하여 주로 추론 단계에 집중
  2. 미세조정(fine-tuning)
  • 이후 연구에서는 LLM의 미세조정 단계와의 통합이 점차 심화됨
  3. 사전학습(pre-training)
  • 최근에는 검색 증강 기법을 사전학습 단계에도 적용하여 언어 모델의 성능을 더욱 향상시키는 방안이 탐구되고 있다.

• RAG 작동 원리

1. Indexing - 문서는 chunk로 분할되고 vector로 인코딩된 후 vector DB에 저장된다.

2. Retrieval - 질문(쿼리)와 가장 연관성이 높은 Top k chunks를 의미적 유사성(semantic similarity)을 기반으로 검색한다.

3. Generation - 원본 질문과 검색된 chunks를 함께 LLM 모델로 입력한 후 최종 답변을 생성한다.

• RAG 패러다임 변화

1. Naive RAG → Advanced RAG → Modular RAG로의 단계적 발전
2. 모듈식 아키텍처를 통한 유연성 및 확장성 강화

• RAG의 효과(LLM 한계 극복)
  • RAG는 LLM의 환각(hallucination) 현상을 줄이고, 최신성·전문성·객관성을 강화할 수 있다.

논문에서 내가 활용할 것은 무엇인가?

• RAG 주요 프레임워크 중 하나인 LangChain 활용(RAG 챗봇 기획/개발)
• 3단계로 변화한 RAG 패러다임 중 Modular RAG를 활용
• Hybrid(RAG + Fine-Tuning) 접근 방법 적용하여 단순 RAG 모델 대비 성능이 나아지는지 확인

참고할 다른 논문은 무엇인가?

• 장문맥 처리 방법

  • https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00638/119630

• Tree of Clarifications(개방형 질의응답에서 자주 발생하는 모호한 질문에 대처하기 위한 새로운 프레임워크)

  • https://aclanthology.org/2023.emnlp-main.63/