[플레이데이터 SK네트웍스 Family AI 캠프 19기] 24주차 회고

25주차에는 사흘 동안 진행했는데, 이 글에 같이 쓰겠다.

113일차: 리랭커 도입 테스트
114-115일차: 해결기준 검색 에이전트 고도화
116-117일차: RAGAS 평가
118-120일차: 마무리, PPT

최종 프로젝트

113일차: dragonkue/bge-reranker-v2-m3-ko 리랭커 모델을 법령 검색 노드에 후처리로 붙여서 성능 테스트를 진행했다. 질의셋 몇 백 개로 정량평가를 하기 전 두어 개만 정성평가를 해봤는데, 상위로 올라오는 검색 결과가 오히려 안 좋아졌다. Cross-encoder Reranker는 컨텍스트의 중앙에 좀 더 가중치를 둬서 리랭킹을 하는 로직인데, 법조문은 해석할 때 조문의 제목이 중요하고, 이미 사용 중인 검색 로직에 BM25 가중치를 법조문의 제목에 높게 주고 있기 때문에 여기서 리랭커를 붙이면 오히려 결과가 안 좋게 나오는 것이란 판단을 할 수 있었다. 따라서 법령 검색 노드엔 리랭커를 도입하지 않기로 결론을 냈다.
114일차: 사실 그동안 법률을 오래 잡고 있었다 보니 해결기준 데이터에 대해 신경을 많이 쓰지 못했다. DB 구축 담당 팀원분이 더 검색을 잘 해올 수 있도록 메타데이터를 구성해두었는데 그게 DB에 누락되어 있어 검색 로직 담당인 나도 적용할 생각을 못했다가, DB를 업데이트 해주셔서 로직을 수정하게 되었다. 해결기준 데이터는 먼저 품목에 대한 분류가 명백하고, 그 대분류-중분류-소분류에 대해 분쟁 유형과 그에 따른 해결기준이 명시되어 있기 때문에 먼저 소분류를 매핑 후 DB에서 분쟁 유형에 대한 유사도 검색을 수행하는 식으로 로직을 구성했다.
115일차: 어제의 작업을 이어서 했다. 소분류를 매핑하는 건 룰베이스로는 한계가 있어 LLM을 호출해 분류하도록 하고, 부모-자식-손자 청크로 구성되어 있는 데이터 성격에 맞춰 자식, 손자 청크만 검색 대상으로 두어 컨텍스트 구성 단계에서 부모 청크를 합쳤다. 그리고 이번에 업데이트된 메타데이터를 output에 포함시켜 return하도록 수정했다. 이 일은 오후 3시 정도에 끝이 났는데, 로컬에서 충돌을 해결하고 푸시했더니 오후 4시가 넘었었다. 협업은 정말 어려운 일이다. 이후 쿼리 확장-검색-후처리 단계를 거쳐 최종적으로 넘어가는 검색 결과 top10에 대해 RAGAS 평가를 하기 위한 작업을 했다.
116일차: 법률, 해결기준 검색 결과에 대해 top10 RAGAS 평가를 진행했는데, 각각 평균이 0.1, 0.15 하락했다. 점수를 0.0 ~ 1.0만 부여하는 평가라 큰 저하라고 볼 수 있었다. 이 원인을 일단 '검색 로직 수정에 의한 검색 결과 다양성 증가'로 두고 top5 제한 및 해결기준 데이터의 chunk_id 포함 평가를 계획했다. 분류한 '소분류'는 chunk_id에는 있지만 임베딩된 context엔 부모 청크가 아닌 이상 없기 때문에, 정보 누락에 의해 평가가 제대로 되지 않았음을 고려했다.
117일차: 오전엔 'LLM 활용 소프트웨어' 문서 작업을 진행했고, 어제 계획했던 top5 재평가를 실시했다. 기존에 뽑아두었던 로그로 비교했을 때 법률과 해결기준 각각에 대해 0.035, 0.1 하락했다. 전 평가보단 소폭이었지만, 마찬가지로 하락한 결과였다. 정량 지표 상승에 실패해 발표 자료에는 포함하지 않고, 추후에 로직을 더욱 개선해보는 걸로 마무리했다. 이후 통합된 코드로 배포된 챗봇에 대해 여러 채팅을 던져보고 이상한 답변이 나오는 경우를 찾으며 테스트했다.
주말: 발표자가 만들어주신 ppt 흐름대로 초안을 잡고 MAS, CI/CD 부분을 공부하며 ppt를 제작했다.

--

118일차: 오전엔 '테스트 계획 및 결과 보고서' 문서 작업을 진행했다. 챗봇 답변 테스트 했던 것도 같이 포함시키면 좋았겠지만 나를 포함해 문서화해둔 팀원이 없었고, 따라서 작성해두었던 요구사항 명세서를 기반으로 테스트 계획서를 만들고 성공/실패/미구현을 알맞게 넣어 문서화 후 제출했다. 이후 ppt에 필요한 추가 자료를 제작했다.
119일차: 저번주에 확인한 점수 하락에 대해 향후 계획을 개인적으로 문서화하고, 발표 리허설을 들으며 흐름이나 ppt 구조, 배치 등을 수정했다. 중간 발표 때는 뭐가 문제인지조차 몰랐는데 그래도 한 번 해봐서 수정이 수월했다.
120일차: canva에서 제작하던 중 슬라이드 몇 장이 사라져있는 걸 확인했다. 그런데 notion처럼 업데이트 기록을 확인해 그 이전으로 되돌릴 수 있는 기능이 있는 줄 모르고 pdf 백업본을 찾아 붙여넣거나 백업본에 없는 슬라이드는 새로 만드는 등의 작업을 진행해 지체되는 일이 있었다. 앞으로 canva를 쓸 때 기억해둬야겠다. 점심시간 직후인 14시부터 최종 발표가 진행되었는데, 한 12시까지 ppt를 수정했다. 이후 발표자께서 멋지게 마무리를 해주셨고, 두 달 간의 프로젝트가 끝났다. 네 분의 팀원분께 너무나 감사드린다.

Problem

1. 주기적 머지의 필요성을 크게 느꼈다.
2. 마지막 회고를 쓰면서 느낀 점인데, 시간상의 이유로 중단하거나 시도해보지 않은 것들과 계획만 세우고 실행해보지 않은 것이 몇 개 있다. 내가 기한 내에 할 수 있을지 없을지 자신이 없어 그냥 안 한 것도 있다. 몇 주 전 블로그 회고에서 '해내야만 한다'는 마음가짐으로 프로젝트를 해야겠다고 다짐한 적이 있는데, 프로젝트 끝으로 갈수록 안정을 추구한 것 같다.