힘든 일주일이었다. 중간에 번아웃이 왔는데, 나혼자만 열심히 하는게 아니라 팀원 모든 분들이 열심히 하는데 어느날 갑자기 하루종일 내가 뭘하고 있는지, 약간 현타 비슷하게 왔다.
중간 발표를 하였는데, 같은 RFP를 받은 다른 조들의 프로젝트를 보면, 이미 챗봇 구현도 마무리 되었고, 템플릿 생성도 수월하게 마무리 된것 같았다.
앞으로 나는 고도화를 진행해야 할 예정이다.
만약에 사용자들이 한번에 여러명이 동시에 작업을 한다면, 프리징이 걸려서 에러가 난다는 다른 팀원분들의 말을 듣고, 이런 동시성 문제를 해결하기 위해 병렬 처리(Parallel Processing)나 비동기 처리(Asynchronous Processing) 적용을 생각을 해보고 있다.
그리고 먼저 top_k, top_p 같은 파라미터를 사용해 Gemini, OpenAI 두 LLM에서 다양한 결과물을 생성하게 한 뒤, 그중에서 가장 좋은 템플릿을 골라내는 리랭크(Re-rank) 로직을 짤 예정이다.
물론 한쪽 Gemini의 하루 제한량 토큰을 다 사용하면, 서비스가 멈추지 않도록 다른 OpenAI API를 사용하는 폴백(Fallback) 로직도 짤 예정이다.
DONE IS BETTER THAN PERFECT.