DocWeave
1.Vector DB 마이그레이션: 왜 pgvector 대신 Qdrant를 선택했나
RAG 기반 PDF 분석 서비스 'DocWeave' 성능 최적화 과정 지난 글에서는 비동기 처리를 통해 서비스의 안정성을 확보한 과정을 다뤘습니다. 이번 글에서는 RAG(Retrieval-Augmented Generation) 서비스의 핵심 구성 요소인 Vector
2.비동기 처리 (feat. 근데 이제 레디스를 곁들인...)
RAG PDF 분석 서비스 'DocWeave' 개발 과정에서의 트러블슈팅 이번 글에서는 '안정성(Stability)'과 '확장성(Scalability)'을 위해 서비스 내에 비동기 처리를 도입했던 과정에 대해 이야기를 해보려 합니다. 사용자가 PDF 문서를 업로드하고
3.병렬 처리로 On-Device LLM 최적화하려다가...
RAG PDF 분석 서비스 'DocWeave' 개발 과정에서의 트러블슈팅 지난 글에서는 LLM의 환각 현상을 잡기 위해 Validation 로직을 도입한 과정을 소개했습니다. 검증을 통해 응답의 신뢰성은 확보했지만, 새로운 문제가 발생했습니다. 바로 '속도(Laten
4.LLM Validation (1)
RAG LLM PDF 분석 서비스 'DocWeave' 개발 과정에서의 트러블슈팅 이번 글에서는 'DocWeave' 프로젝트를 진행하며 가장 고민했던 부분인 'LLM 응답의 신뢰성 확보'에 대해 이야기하고자 합니다. 우리는 흔히 LLM을 '똑똑한 AI'라고 생각하지만, 개발자의 관점에서 LLM은 '매우 불안정한 외부 API'일 뿐입니다. 같은 입력에도 매...
5.RAG 검색 품질 개선: Parent-Child Chunking
RAG PDF 분석 서비스 'DocWeave' 개발 과정에서의 트러블슈팅 이번 글에서는 문서 분석 서비스 ‘DocWeave’를 개발하며 RAG의 검색 품질을 개선했던 경험을 공유하고자 합니다. Llama 3.2 모델을 도입하여 사용자 문서 기반의 질의응답 기능을 구현했으나, 모델 자체의 성능보다는 모델에게 전달할 Context를 찾는 과정에서 병목이 발생...