RAG

테스트 환경 모델: BGE-m3 데이터셋: private 아래 정보를 토대로 chunk 데이터의 크기를 조절하여 RAG 프로세스 최적화에 활용 | Metric | 텍스트 수 | 토큰 수 | 감소율 | | :-: | :-: | :-: | :-: | | Mean | 4

vLLM 버전 호환성 정리 vLLM 0.5.3.post1 버전에서 Gemma2 모델 띄울 시 flashinfer 라이브러리 필요 필요 | vLLM | PyTorch | flashinfer | | :-: | :-: | :-: | | 0.5.3.post1 | 2.3.1