Optimization
1.[Faiss]. IVFPQ ANN 벡터 검색 구현하기
Faiss로 벡터 검색 최적화
2023년 4월 6일
2.ONNX Runtime 문장 임베딩(sentence embedding) 속도 및 연산량 개선하기
우리 회사는 SentenceTransformer를 기반으로 파인튜닝한 문장 임베딩 모델을 사용하고 있다.하지만 모델의 크기가 커질 수록 임베딩 시간은 늘어나고 많은 연산량을 요구하게된다.그렇다고 모델의 크기를 줄이면 정확도가 떨어진다.하지만 ONNX는 Inferance
2023년 4월 30일