RAG를 하면서 그리고 공부하면서 늘 느끼는 건데
최고의 조합을 잘 찾는 방법 = 소위말해 삽질 누가 더 잘하냐 인것같다.......
autorag같은 좋은 오픈소스가 더 많아져야함
벡터디비 종류도 엄청 많다.
이것들의 성능을 어떻게 측정할지 고민도 되기 많다.
다 써볼수는 없으니.. 실험할 여유 x, 시간은 정해져있고,,, 다른것도 해야하니, 매일마다 또 새로운게 나온다 :(
처음에는 벡터디비 성능 측정(대용량데이터에대한 처리, 검색 속도 등등) 을 어떻게 하지 하다가
직접 ^^ 간단한 프로세스를 구현해서 어떻게든 측정하려했다.좀 객관적이지 않고, 논리적이지 않은 방법 같았음.
임베딩이나 청킹 파싱 이런거엿으면 오토레그 썻을텐데,,,
벡터디비는 왜 없지
그래서 찾아봄. 벡터디비 벤치마크 툴
VectorDBBench라는 걸 찾아서 써보려고 한다. 아직 아무도 리뷰한게 없다... (한글로)
오늘 잠깐 만져봤는데, 삽질 엄청할것같은 느낌이 든다. 그래두 이런게 있는게 어디야.
숨쉬는 대학생