주문 읽기 AI가 시험 29문제를 통과했다. 치명 오답 0. 모델도 골랐다.
이제 내놓으면 되나?
안 된다. 그리고 그 이유가 이 시리즈에서 제일 중요하다.
시험엔 구멍이 있다. 출제자가 나다
이 시험의 문제, 정답지, 상품 목록 — 전부 내가 만들었다.
그러면 "29문제 통과"의 정확한 뜻은 이거다.
"내가 상상할 수 있었던 29가지 상황에서는 안 틀렸다."
그 이상이 아니다. 내가 상상 못 한 문장은 시험에 없다. 그리고 실전은 상상 못 한 문장의 연속이다. 진짜 거래처는 내가 못 지어낼 방식으로 말을 줄이고, 진짜 상품 목록은 내가 만든 것보다 훨씬 지저분하다. 같은 상품이 이름만 다르게 세 번 등록돼 있고, 안 쓰는 상품이 안 지워진 채 몇 년째 쌓여 있다.
그래서 장부를 세 칸으로 쓴다
내놓기 전에 이 세 줄을 적었다.
확인했다 최악의 사고 유형마다 문제를 냈고, 두 모델 모두 0건
확인 못 했다 실전 데이터로는 안 돌려봤다. 시험 문장은 전부 내가 썼다
막아놓았다 확신이 없으면 확정하지 않고 사람한테 넘기게 만들었다세 번째 줄이 핵심이다. 모르는 상황이 와도 안전한 쪽으로 떨어지게 해놤으면, 시험이 불완전해도 내놓을 수 있다. 처음 보는 표현이 오면 이 프로그램의 최악은 "느려지는 것"이지 "엉뚱한 출고"가 아니다.
거꾸로, 이 안전장치 없이 시험 점수만 믿고 내놓는 건 29발 쐄보고 총을 믿는 것이다.
첫 실전은 지켜보는 기간이다
내놓은 뒤 얼마간은 자동으로 넘기지 않고 결과를 전부 사람이 본다.
이 기간에 나오는 게 진짜 시험 문제다. 내가 상상 못 한 문장들이 여기서 처음 나타난다. 틀린 걸 발견할 때마다 시험지에 추가한다. 시험지가 상상에서 실전으로 자라는 순간이다.
1주차 전부 사람이 확인. 틀린 건 시험 문제로 추가
2~4주 치명 0이 유지되면, 확정된 것만 자동으로
그 뒤 확인 필요만 사람이 본다접어야 할 때도 시험이 알려준다
반대 경우도 있다. 치명이 계속 나오는데 원인이 프롬프트가 아니라 문제 자체일 때다.
"저번에 시킨 그거"를 자동으로 알아맞히라는 요구가 그렇다. 원리적으로 안 된다. 정보가 없다. 프롬프트를 아무리 다듬어도 안 되고, 다듬을수록 억지로 찍게 만들어서 더 위험해진다.
이럴 땐 프로그램을 고치는 게 아니라 범위를 줄인다. "그 경우는 사람이 한다"로 선을 긋고 나머지만 자동화한다. 무엇이 원리적으로 안 되는지 알아내는 것도 시험의 일이다.
여기까지의 성적표
이 시험에서 실제로 잡힌 걸 다시 센다.
AI의 진짜 오답 — 1건. 그마저 "물어본 죄".
출제자의 오답 — 5건. 정답지 3, 채점기 2.
AI를 검증하려고 만든 시험이 제일 많이 잡아낸 건 AI가 아니라 나였다. 그리고 그게 시험을 만드는 진짜 이유다.
통과는 출발선이다. 다음 문제는 실전이 낸다.
덧. 위 성적표는 그 뒤 채점기를 한 번 더 고치면서 또 바뀌었다. 그 이야기는 따로 쓴다.
시험지 29문제와 채점기 코드는 전부 공개해둫다 → github.com/ramses203/llm-test-harness
다음 글 — 이 시험을 애초에 왜 만들게 됐는지. 유튜브 댓글 2만 개를 긁은 이야기다.
덧2. 새 실험이 끝날 때마다 메일로도 보냅니다 → AI 검증 노트
