AI 검증

주문 메시지를 읽는 AI를 만들기 전에 테스트 29개부터 만들었다. 모델은 치명 오류 0건으로 통과했는데, 정작 내가 쓴 정답지가 3번, 채점기가 2번 틀렸다. AI를 검증하려다 검증당한 기록.

지난 글에서 AI한테 주문 읽기 시험을 냈다가 출제자인 내가 5번 진 이야기를 했다.오늘은 그 시험지를 어떻게 만들었는지다. 결론부터 말하면 — 착한 문제는 낼 필요가 없다.시험을 만들라고 하면 누구나 잘 되는 경우부터 쓴다. "택배박스 250 5박스 주세요" → 택배