개발코스 7주차 WIL
지난주 개발코스 6주차에서 RAG검색 향상기법 중 re=ranking을 로컬에서 test하다 계속된 Error로 인해 헤맸던 내용을 기억하시나요?
7주차에서는 해당 문제를 해결하고 test에 성공한 이야기를 다룰 예정입니다.
[1차 시도: llama3.1 8B]
기존에 설치한 llama3.1 8B를 모델로 적용했으나, 실행시간이 오래 걸리는 문제발생.
무거운 모델을 실행하다 보니 질문에 대해 4~5분 가량이 지난뒤 정답을 도출하였다.
gpu라면 이러게 오래 안 걸렸겠지만, t3a.large 서버 인스턴스 유형에서는 gpu를 제공하지 않았음.
질문에 대해 키워드는 정확하게 추출하였고, 정확도도 꽤 높은 편이었음.
[2차 시도: gemma2:2b]
따라서 기존의 llama3.1 8B 보다 가벼운 gemma2:2b를 설치하였으나.
실행시, 정확도도 현저히 떨어지고 실행시간도 거의 2~3분으로 줄긴 했으나 여전히 느렸음.
[3차 시도: gemini api]
어떻게 해결할 수 있을지에 대해 고민하다 api를 통해 실행시, 1초컷을 낼 수 있다는 글을 발견했고 이에 gemini api key를 발급받아 진행하는 방식으로 변경.
그러나 코드 실행시 경로 충돌과 버전 충돌이 발생했고, 계속 시도해봤으나 문제가 해결되지 않았음.
[4차 시도: groq api]
gemini api가 아닌, groq api를 통해서도 작업할 수 있다는 글을 발견했고.
이에 groq api key를 발급받아 진행하는 방식으로 변경.
이번에는 경로 충돌 및 버전 충돌 문제가 발생하지 않고, 정상적으로 실행됐음.
[최종결과:성공]
++진행하며 수정한 사항들.
DB의 데이터는 영어로 입력되어 있으므로, 질문을 한국어로 입력시 영어로 번역할 수 있도록 groq에서 처리.
이에 따라 올바른 키워드 추출과 정확도 향상이 가능해짐.
[마무리]
해당 문제를 해결하기까지 1주일이 넘게 걸리고, 계속된 실패로 걱정만 가득했으나..
결국, 로컬 테스트에 성공한 것 뿐만 아니라 처음 생각한 결과보다 더 나은 산출물을 얻은 것 같아 성취감을 배로 느낄 수 있었다.
('gemini api'와 'groq api' 키를 무료발급하였고, 팀원들에게 공유완료했음.)
