RAG & AnythingLLM

RAG

RAG 의 용도

• 일반적인 LLM은 훈련된 데이터 외의 문제를 받았을 시 거짓 정보를 생성해 제공하는 할루시네이션 이슈가 존재.
• RAG 는 훈련 데이터 외 문제를 받았을 시 외부 DB 나 문서를 참조하여 답할 수 있음.
• RAG 는 외부 데이터를 참조하기에 보안상 문제가 발생할 수 있음. 로컬 LLM 이라면 관계 없다.
• OpenAI 에서 서비스 중인 ChatGPT 는 외부 문서를 검색할 수 있기에 RAG 로 볼 수 있다.

RAG 의 작동 원리

• RAG는 다음 단계를 따라 외부 데이터를 저장, 참고하고 답변함.
• 문서 저장: RAG는 문서를 작은 단위로 나누어 임베딩으로 변환하고, 벡터 데이터베이스에 저장함.
• 질의응답 단계: 사용자가 질문을 입력하면, 질문을 임베딩으로 변환한 후 벡터 데이터베이스에서 유사한 문서를 검색해 정확한 답변을 제공함.

AnythingLLM 사용법

AnythingLLM 개요

• 로컬 환경에서 실행되는 RAG 중 하나.

• 사용할 LLM 모델, 벡터 데이터베이스, 임베더를 설정해야 사용 가능.
  • OpenAI 의 모델 등 다양한 모델을 제공하나 일부는 API Key 가 요구됨.
• 대화를 시작할 워크스페이스 생성.

• 워크스페이스명 옆의 업로드 버튼을 클릭해 RAG 가 참조하게 만들 데이터를 제공할 수 있음.

API 문서 접근

• API 문서 [링크]
• API 문서에서는 각 엔드포인트와 해당 파라미터, 응답 형식 등을 상세히 제공함.
• Authorize 버튼 클릭 후 AnythingLLM 의 개발자 API 내 API KEY 로 API 문서에 로그인 해줘야 사용 가능.