주문 읽기 시험 29문제를 두 모델한테 풀게 했다.
싼 모델(Haiku 4.5)과 값이 세 배쯤 하는 비싼 모델(Sonnet 5)이다.
결과
싼 모델 29문제 중 28문제 무결점
비싼 모델 실행된 28문제 전부 무결점
치명 오답 둘 다 0건(비싼 모델의 1문제는 호출 한도에 걸려 실행 못 했다)
3배 비싼 모델이 더 잘한 건 사실이다. 딱 한 문제만큼.
그 한 문제
페트 300 투명 10박스 뚜껑 흰거 5봉이요
상품 목록에는 뚜껑이 두 종류다. 300 구경과 500 구경.
"뚜껑 흰거"만 보면 어느 쪽인지 모른다. 근데 같은 문장 앞에 "페트 300"이 있다. 300짜리 병을 시키면서 뚜껑만 500짜리를 시킬 리가 없다.
비싼 모델은 그 문맥을 읽고 300 뚜껑으로 확정했다.
싼 모델은 "구경 미지정, 확인 필요"라고 되물었다.
1편의 투명테이프 때는 "확인 필요"가 정답이었는데 이 문제는 왜 확정이 정답인가. 차이는 단서다. 테이프 문장에는 폭을 정할 단서가 아예 없었고, 이 문장에는 같은 줄에 "페트 300"이 있다. 원문 안에 답을 정할 정보가 있으면 확정이 정답이고, 없으면 확인 필요가 정답이다.
싼 모델이 어떻게 틀렸는지를 보자. 엉뚱한 뚜껑을 보낸 게 아니다. 물어본 것이다. 사고는 안 난다. 다만 뚜껑 주문마다 되물으면 쓰는 사람이 슬슬 짜증난다. 그 정도의 차이다.
그래서 뭘 골랐나
싼 거.
기준은 점수가 아니라 등급이다(지난 글). 두 모델 다 치명 0이면 등급상 동점이다. 동점이면 싼 걸 쓴다.
반대 상황이었다면 고민할 것도 없이 비싼 쪽이다. 가령 성적표가 이랬다면 —
싼 모델 28/29 치명 1 ← 점수가 높아도 못 쓴다
비싼 모델 27/29 치명 0"몇 개 맞았나"로 고르면 틀린 모델을 고른다.
보너스 함정 — 같은 시험인데 점수가 다르다
찝찝한 일이 하나 있었다.
같은 문제를 같은 모델한테 다시 냈는데 결과가 달랐다. 한 번은 틀리고, 다시 내니 맞고, 세 번 더 내니 세 번 다 맞았다. 다섯 번 중 한 번 틀린 셈이다.
원인은 온도(temperature)다. AI 답의 무작위성을 조절하는 값인데, 0으로 고정하면 같은 입력에 같은 답이 나온다. 문제는 내가 쓰던 명령줄 도구에 그 옵션이 없었다는 것.
교훈이 두 개 나온다.
- 온도를 고정 못 하면 한 번 돌린 점수는 재현되지 않는다. 최종 점수는 여러 번 돌려서 통과율로 내야 한다
- 실서비스는 온도 0으로 부른다. 같은 주문서에 매일 같은 답이 나와야 하는 일이라면 특히
정리
- 등급으로 비교한다. 점수로 비교하지 않는다
- 치명 0끼리는 동점이다. 싼 걸 쓴다
- 온도를 못 박아야 점수를 믿을 수 있다
비싼 모델을 결제하기 전에, 싼 모델이 뭘 틀리는지부터 세어봐라. 우리 시험에서 그 차이는 한 문제였고, 그마저 "물어본 죄"였다.
덧. 시험지 29문제와 채점기 코드는 전부 공개해뒀다 → github.com/ramses203/llm-test-harness
다음 글 — 29문제를 다 통과했다. 그래서 바로 못 내놓는다.
덧2. 새 실험이 끝날 때마다 메일로도 보냅니다 → AI 검증 노트
