RAG에 관련된 기술

HyDE : 가상의 문서로 RAG 성능을 향상

개념

HyDE는 사용자의 질문을 토대로 가상문서를 생성하여, 이를 검색의 입력으로 사용함으로써 유사도 검색의 정확도를 높이는 방법

• 가상의 문서는 질문의 의도를 명확히 반영하고 단순한 질문보다 더 많은 패턴을 제공
• 여러개의 가상 문서를 생성한 뒤 평균화하여, 검색에 활용하기때문에 편향이나 오류를 줄이고 정확성을 높임

효과적인 경우

• RAG파이프라인의 검색 성능이 충분하지 않는 경우
• 데이터가 새로운 도메인인 경우

Self - RAG : 검색된 문서와 생성된 결과에 대해서 Selfpreflection(스스로 평가)를 포함하는 RAG

• 반영 토큰을 통해 필요할 때만 검색을 수행하고, 검색된 정보를 분석하여 필요한 정보만을 선별하는 방식으로 효율성을 높였습니다. Critique 모델과 Generator 모델의 협력을 통해 더 정확한 학습과 평가가 가능하며, 이는 Self-RAG의 성능을 크게 향상
• 4가지 토큰
  • [Retrieve]: 해당 질문에 대해 검색이 필요한지를 결정
  • [IsREL]: 검색된 정보가 질문에 관련성이 있는지 여부를 판단
  • [IsSUP]: 제공된 답변이 검색된 정보에 의해 뒷받침되는지 검증
  • [IsUSE]: 최종 답변이 유용한지를 평가 (1~5의 점수로 평가)

Adaptive RAG : (1) 쿼리 분석과 (2) active/self-corrective RAG를 결합한 RAG

Corrective-RAG (CRAG) : 검색된 문서에 대한 self-reflection과 self-grading(스스로 평가)를 포함하는 RAG

RAG-FUSION

참고자료

https://digitalbourgeois.tistory.com/482

https://www.koreaodm.com/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5/hyde%EB%A1%9C-rag-%ED%96%A5%EC%83%81%EC%8B%9C%ED%82%A4%EA%B8%B0-%EC%9D%B4%EB%A1%A0%EA%B3%BC-%EC%A0%81%EC%9A%A9-%EB%B0%A9%EC%95%88/

https://python.langchain.com/v0.1/docs/use_cases/query_analysis/techniques/hyde/ 실습방법

https://zero-ai.tistory.com/59

https://rudaks.tistory.com/entry/%EB%B2%88%EC%97%ADlanggraph-tutorial-Self-RAG

https://velog.io/@mmodestaa/Self-RAG-%EB%85%BC%EB%AC%B8-%EC%A0%95%EB%A6%AC-%EB%B0%8F-Langchain-%EA%B5%AC%ED%98%84-%EC%BD%94%EB%93%9C

https://digitalbourgeois.tistory.com/476

https://cori.tistory.com/316

https://www.youtube.com/watch?v=pZ7tqESUPtk

https://github.com/langchain-ai/langchain/blob/master/cookbook/hypothetical_document_embeddings.ipynb

https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb

https://velog.io/@jingyeom/Self-RAG-Learning-to-Retrieve-Generate-and-Critique-through-Self-Reflection-%EB%A6%AC%EB%B7%B0

https://www.youtube.com/watch?v=pZ7tqESUPtk