RAG 기반 LLM 시스템의 어떤 부분을 어떤 순서로 테스트 해야 할까

RAG는 검색 단계와 생성 단계로 이루어져 있다.
즉 검색단계와 생성단계를 각각 테스트 하고, 검색 -> 생선 순이 효율적이다!

검색 단계

사용자의 질문과 관련된 문서를 DB에서 찾아오는 과정

목적 : 문서의 정확도
파라미터 : 임베딩 모델, 벡터 DB, 청킹 전략, 검색 전략이 있다.

• 생성 단계 : 찾은 문서를 참고해 LLM이 답변을 만든다.
  - 파라미터 : 프롬포트, LLM 모델이 있다.
  

랭스미스를 이용해서 테스트를 자동화하자!

검색 단계 : 임베딩 모델과 K 개수

청킹 전략

생성 단계 : 파라미터와 LLM 모델

최종 A/B 테스트 :

전체 결과

## 다음글은