우리가 선례로 삼는 사람이 있다. AI 제품 검증을 가르쳐서 수강생 4,500명을 모은 하멜 후세인(Hamel Husain)이다. 8편의 AI 채점관 실험도 그의 방법을 우리 손으로 실증한 것이었다.
그의 검증 글을 읽다가 걸리는 대목을 만났다. 채점은 좋다/나쁘다 둘로만 나누라고 권한다. 점수나 세분화된 척도는 손만 많이 가고 득이 없다는 취지다.
그런데 내 채점기는 4등급이다. 치명·위험·누락·무해. 1편부터 모든 성적표가 이 네 칸으로 나왔고, 배포 기준(치명 0이면 내놓는다)도 이 위에 서 있다. 선례로 삼은 사람이 하지 말라는 걸 나는 열세 편째 하고 있는 건가.
하멜이 막으려는 것
그가 경계하는 건 1~5점 같은 점수 척도다. 왜 문제인가.
"이 답안, 3점인가 4점인가"를 고민해본 사람은 안다. 3과 4 사이의 경계는 말로 정의가 안 된다. 그래서 기준이 채점자마다 다르고, 같은 채점자라도 아침저녁이 다르다. 그리고 평균 3.7점이 나왔을 때 그 숫자가 무슨 결정을 내려주는지 아무도 설명하지 못한다. 내놓나, 못 내놓나? 3.7은 답하지 않는다.
여기까지는 전적으로 동의한다.
그럼 내 4등급은 점수 척도인가
가려내는 방법이 있다. 척도라면 평균을 낼 수 있어야 한다. 1~5점은 평균 3.7이 나온다.
우리 등급은 평균이 없다. "치명 반 개"도 없고, "치명과 위험의 중간"도 없다. 우리가 하는 건 개수 세기뿐이다 — 치명 몇 건, 무해 몇 건.
네 등급이 각각 무슨 사고를 가리키는지는 이렇다.
치명 틀린 확정이 다음 공정으로 흘러간다 — 사람이 잡을 기회가 없다
위험 틀렸지만 사람이 확인하는 단계가 남아 있다 — 잡을 기회는 있다
누락 잡아야 할 것을 안 잡았다
무해 확인 필요를 남발했다 — 사람이 조금 귀찮아질 뿐한 문제를 채점할 때 묻는 건 "이 사고가 났는가, 안 났는가"다. 예 아니면 아니오. 그러니까 우리는 4점짜리 눈금을 매기는 게 아니라 이진 질문을 네 종류 하는 것이다. 하멜식으로 번역하면 — 통과/실패는 이진으로 묻되, 실패에 이름을 붙였다.
이름이 왜 필요한가 — 이름이 결정을 내린 세 장면
이름 없이 좋다/나쁘다 하나로 뭉쳤다면 어땠을지, 실제 있었던 결정 세 개로 대보자.
4편의 모델 선택. 싼 모델의 실패는 전부 "물어본 죄"였다 — 확정할 수 있는 걸 확인 필요로 되물은 것. 이진 채점이면 그것도 그냥 나쁨이다. 나쁨 있는 모델과 나쁨 없는 모델이니 3배 비싼 쪽을 결제했을 것이다. 실제로는 그 실패의 이름이 무해였다. 그래서 두 모델 다 치명 0으로 동점이 됐고, 동점이면 싼 것을 쓴다는 원칙대로 싼 모델을 골랐다. 이름 하나가 모델 요금 3배를 갈랐다.
10편의 폐기 판정. 내 정규식 분류기는 15문제 중 7개를 틀렸다. 이진이면 남는 건 "53%"라는 점수뿐인데, 53%는 내놓아도 되는 숫자인가? 점수는 답하지 않는다. 실제 폐기 사유는 점수가 아니라 치명 3이었다 — 잡담이 니즈로 잘못 분류되는, 되돌릴 수 없는 사고가 세 번. 이건 한 번이어도 못 내놓는다.
11편의 교체 결정. 80% 대 53%가 결정한 게 아니다. 치명 0 대 치명 3이 결정했다. LLM도 3문제를 틀렸지만 그 실패들은 전부 사람이 되돌릴 수 있는 종류였다.
세 장면의 공통점 — 점수는 결정을 못 내리고, 실패의 이름이 결정을 내렸다. 고치는 순서도 이름에서 나온다. 치명부터 고치고 무해는 놔둔다. "나쁨 7개"로 뭉쳐놓으면 뭐부터 손댈지 알 수 없다.
정리
- 하멜의 경고는 맞다 — 점수 척도를 만들지 마라. 경계를 정의할 수 없고, 평균은 아무 결정도 못 내린다
- 다만 이진으로만 뭉치면 실패의 내용이 사라진다. 통과/실패를 묻되, 실패에 이름을 붙여라
- 이름의 기준은 하나면 된다 — 이 사고를 사람이 되돌릴 수 있는가. 못 되돌리면 치명이고, 그것부터 고친다
선례를 읽다가 내가 틀린 줄 알고 사흘쯤 찜찜했는데, 뜯어보니 같은 말을 다른 각도에서 하고 있었다. 독립적으로 만들었는데 같은 곳에 도착해 있으면 그 지점이 맞을 확률은 올라간다. 이번 건은 그런 안심이었다.
덧. 하멜의 원문은 hamel.dev의 "Your AI Product Needs Evals"다. 우리 시리즈와 겹치는 지점이 다섯 곳 더 있었다 — 실패가 나올 때마다 문제 추가, 채점기부터 의심, 100% 통과가 목표 아님, 전문가가 정답지 담당, 일을 상황별로 쪼개서 문제 내기. 서로 모르고 만든 결과가 이 정도 겹치면, 이 방향 자체는 믿어도 된다는 뜻으로 읽고 있다.
덧2. 새 실험이 끝날 때마다 메일로도 보냅니다 → AI 검증 노트
