지난 글에서 AI한테 주문 읽기 시험을 냈다가 출제자인 내가 5번 진 이야기를 했다.
오늘은 그 시험지를 어떻게 만들었는지다. 결론부터 말하면 — 착한 문제는 낼 필요가 없다.
정상 케이스부터 만들고 싶어진다
시험을 만들라고 하면 누구나 잘 되는 경우부터 쓴다. "택배박스 250 5박스 주세요" → 택배박스 250, 5박스. 통과한다. 뿌듯하다. 안심된다.
근데 이건 배점 낭비다. 정상 문제는 거의 안 틀린다. 틀리는 건 정상이 아닌 것들이다.
내 시험지 29문제의 구성은 이랬다.
정상 주문 4문제
주문이 아닌 것 6문제 ← 제일 많다
변경·취소 4문제
애매한 것 5문제
오타·줄임말 범벅 3문제
학습된 뒤의 상황 7문제정상이 제일 적다. 일부러 그랬다.
왜 "주문이 아닌 것"이 제일 많나
이 프로그램의 최악 사고는 안 시킨 물건이 나가는 것이다. 그러면 시험도 그 사고를 제일 많이 노려야 한다.
택배박스 250 규격이 어떻게 되나요?
상품명 있다. 숫자 있다. 근데 주문이 아니다. 질문이다.
상품명이 보이면 주문으로 잡는 프로그램은 여기서 트럭을 부른다. 그래서 이런 문제를 6개 깔았다. 가격 문의, 재고 문의, 배송 문의, 인사말, 세금계산서 요청.
변경·취소는 더 지독하다.
250박스 5박스 주문했는데 3박스만 보내주세요
숫자가 두 개다. 앞부분만 읽으면 완벽한 주문이다. 이걸 새 주문으로 잡으면 물건이 두 번 나간다.
상품 목록에도 함정을 심는다
문제만 어렵게 내는 게 아니다. 데이터 자체를 지저분하게 만든다.
- 투명테이프를 두 종류 넣었다 — 48mm와 60mm
- "250"으로 시작하는 상품을 다섯 개 깔았다
- 한 박스 들이 수를 제각각으로 했다 — 50장, 40장, 25장, 10장
- 박스 단위가 아예 없는 낱개 상품도 섞었다
이유는 하나다. 실제 데이터가 원래 이렇게 생겼다. 진짜 상품 목록엔 비슷한 놈들이 꼭 있다.
깨끗한 목록으로 시험을 보면 어떻게 되냐면 — 전 문제를 통과한다. 그리고 실전 데이터를 넣는 순간 무너진다. 시험은 통과했는데 실전에서 사고가 나면, 그건 AI 잘못이 아니라 시험지 잘못이다.
제일 중요한 함정은 "배운 다음"이다
이 프로그램에는 학습이 있다. 사람이 한 번 고르면 기억한다. "250" → 택배박스 250. 다음부턴 자동.
고백하자면, 처음 22문제에는 학습 상황이 하나도 없었다. "한 번 고치면 그다음부터 자동"이 이 프로그램의 존재 이유인데, 정작 그 경로를 한 번도 시험 안 본 것이다. 뒤늦게 7문제를 추가했다.
그리고 이 7문제에서 무서운 걸 확인했다. 학습은 편해지는 기능이 아니라 사고 내는 기능이 될 수 있다.
함정 하나. "테이프 = 48mm"라고 학습된 상태에서 이런 주문이 온다.
테이프 60 2박스
학습을 그대로 적용하면 48mm가 나간다. 손님은 60을 말했는데. 명시된 규격이 학습을 이겨야 한다.
함정 둘. "250 = 택배박스"라고 학습된 상태에서.
250 규격이 어떻게 되나요?
학습이 쌓일수록 프로그램은 자신감이 붙는다. 그 자신감으로 질문을 주문으로 잡으면 끝장이다. 학습이 있어도 질문은 질문이다.
둘 다 통과했다. 다행이다. 근데 이 문제들을 안 냈으면? 통과했는지 못 했는지도 모른 채 실전에 나갔을 것이다.
정리 — 시험지 만드는 순서
- 최악의 사고를 먼저 목록으로 쓴다 — 엉뚱한 게 나감 / 두 번 나감 / 안 시킨 게 나감
- 사고마다 그걸 일으킬 문제를 최소 하나씩 만든다
- 데이터에 비슷한 놈들을 심는다
- "배운 다음"의 문제를 만든다 — 학습이 사고 내는 경우
- 정상 문제는 마지막에 몇 개만. 어차피 통과한다
시험지가 착하면, 통과는 시험지가 하고 사고는 실전이 낸다.
덧. 여기 나온 29문제와 함정 심은 상품 목록은 그대로 열어뒀다 → github.com/ramses203/llm-test-harness
다음 글은 채점이다. 맞다/틀리다로 채점하면 왜 망하는지.
덧2. 새 실험이 끝날 때마다 메일로도 보냅니다 → AI 검증 노트
