SW 마에스트로 프로젝트를 하며 작성하는 회고입니다.
26.06.14 ~ 26.06.18의 회고입니다.
Golden Set은 존재할 수 있을까?
Golden Set을 만들어 LLM의 품질을 평가해보라는 멘토님의 피드백을 수용해, 팀원들과 Golden Set을 만들려고 했다.
하지만 결론부터 말하면, Golden Set은 존재할 수 없었다. 적어도 우리 프로젝트에서 평가하고자 했던 “좋은 지식 단위의 범위”에 대해서는 말이다.
Golden Set이 의미 없다는 뜻은 아니었다. 다만 우리가 만들고 싶었던 정답지는 하나의 답으로 고정될 수 없었다.
우리는 10개의 서로 다른 분야의 읽기 자료를 1편에서 만들어둔 위키페이지 구조에 맞춰 3사 모델 ChatGPT, Gemini, Claude로 각각 위키페이지화했다. 그 후 각각의 산출물을 보면서 좋아 보이는 점과 개선했으면 하는 점을 작성하고, 이를 취합해 하나의 정책을 만들고 싶었다.
하지만 이 방식은 우리 프로젝트에서는 성공하기 어려웠다.
다음과 같은 문제들이 있었기 때문이다.
1. 범위라는 것은 너무 추상적이고 주관적이다
우리 프로젝트에는 concept이라는 하나의 지식 단위가 존재한다. 이 페이지가 존재하기 때문에 우리는 query 시에 해당 페이지만 참조해서 더 빠르고 정확하게 해당 개념을 사용자에게 전달할 수 있다.
하지만 여기서 문제가 생긴다.
- 지식 단위라고 하면, 그것의 범위는 어떻게 정의할 수 있을까?
- 정의할 수 있다면, 그 기준은 주제마다 모두 동일하게 적용될 수 있을까?
이 두 가지 질문만으로도 Golden Set에서 이 문제를 완벽히 정의하기는 어려웠다.
결국 이건 사람이 판단해야 하는 문제였다. 그리고 그 판단마저도 사람마다 달랐다. 모두가 같은 문서를 봤지만, 각자가 중요하다고 본 개념의 범위는 달랐다.
문제는 같은 원문을 보고도 어떤 단위를 concept으로 볼 것인지에 대한 사람의 기준이 먼저 다르다는 점이었다. 그래서 LLM이 틀렸다고 단정할 수 있는 명확한 근거를 내세우기 어려웠다.
2. 우리만 사용자인 것이 아니다
예를 들어, 물의 순환에 대해 설명하는 읽기 자료를 봤다고 해보자.
누군가는 응결, 기화 같은 과학 현상을 각각의 concept으로 정의할 수 있다. 반면 누군가는 이를 하나의 순환 흐름으로 보고 물의 순환이라는 concept 하나로 정의할 수도 있다.
다른 예시도 있다.
분리수거를 주제로 하는 읽기 자료를 봤을 때, 누군가는 종이, 플라스틱, 비닐처럼 재활용 가능한 종류별로 나눌 수 있다. 누군가는 재활용 방법과 하면 안 되는 행동으로 나눌 수도 있다. 또 누군가는 이 모든 내용을 하나의 concept으로 묶어서 볼 수도 있다.
이처럼 지식 단위의 범위는 원문만으로 결정되지 않았다.
사용자의 목적, 배경지식, 나중에 다시 찾고 싶은 방식에 따라 달라졌다. 그런데 이걸 팀원 3명이서 특정해버리면, 나중에 사용자 피드백을 받았을 때 우리가 만든 Golden Set이 바로 무너질 가능성도 있었다.
즉, 사용자가 무엇을 하려는지에 따라 좋은 지식 구조가 달라지는 것이 문제였다.
시험 공부를 하려는 사람, 개념을 빠르게 훑으려는 사람, 나중에 검색하기 쉽게 정리하려는 사람이 필요로 하는 concept의 범위는 같을 수 없었다. 심지어 같은 목적을 가진 사람들 사이에서도 각자가 보는 범위는 다를 수 있다.
그럼에도 이 시간이 헛되지는 않았다
그래서 고안한 방법이 나무위키에서 착안한 승격 방식이다.
기존처럼 정의가 가능하고 언급이 많으면 concept page로 만든다. 그보다 덜 언급되거나 덜 중요하다고 판단되면 section으로 분류한다. 정말 언급만 된 경우에는 mention으로 분류한다.
그리고 나중에 Lint라는 갱신 작업을 수행할 때, 특정 section이 충분히 많이 등장하거나 이미 다른 곳에서 concept page로 만들어졌다면 concept으로 승격하거나 기존 concept에 편입할 수 있도록 하자는 결론을 냈다.
범위에 대해 깊게 고민하지 않았다면, 아마 이런 방식을 고안하지 못했을 것이다.
결론
Golden Set은 LLM을 평가하기에 좋은 지표인 것은 맞다.
실제로 우리 프로젝트에서도 evaluator가 맞다고 판단할 수 있는 부분들이 있었다. 예를 들면 문맥 충실성, 정확도, 할루시네이션 여부, 리콜 누락 여부 같은 것들이다. 이런 기준을 확인하면서 위키페이지의 품질은 확실히 좋아졌다.
하지만 모든 것을 완벽히 평가할 수는 없다는 것도 알게 되었다.
어쩌면 평가할 수 없는 불확실성이 우리 프로젝트가 차별점으로 가져갈 수 있는 무기일지도 모른다. 모두에게 같은 구조를 정답이라고 제시하는 것보다, 사용자의 관점에 맞게 다른 구조를 제안할 수 있는 것이 오히려 우리 프로젝트의 가능성일지도 모른다.
이번 시도는 실패에 가까웠다.
하지만 그 실패 덕분에 우리가 평가해야 할 것이 “하나의 정답”이 아니라 “사용자의 목적에 맞는 지식 구조”라는 사실을 알게 되었다.
