1편을 올리고 사흘 뒤, GeekNews에 댓글이 하나 달렸다. 앞부분은 칭찬이었고 뒷부분이 이거였다.
출제자가 3패 하는 동안 정답지를 고친 방향이 전부 "모델이 맞았다" 쪽이었는데, 이게 반복되면 정답지가 모델 행동에 수렴할 위험은 없을까요. 저는 도메인 규칙만 보고 독립적으로 판정이 서는 문항인지를 기준으로 나눠보는 편이에요. 그게 안 서면 채점 대상이 아니라 사람 확인 대상으로 빼버립니다. 이 케이스들은 어떻게 구분하셨는지 궁금합니다.
풀어 쓰면 이런 말이다. "AI가 다르게 답할 때마다 정답지를 고치면, 그 시험은 AI를 평가하는 게 아니라 AI를 받아 적는 종이가 되는 것 아니냐."
선생님이 학생 답안을 볼 때마다 정답지를 고친다고 생각해보자. 몇 번은 정말 선생님이 틀렸을 수 있다. 그런데 그게 습관이 되면 그 시험은 학생 실력을 재지 못한다. 점수는 항상 좋게 나오는데, 그 점수는 학생이 잘해서가 아니라 정답지가 학생한테 맞춰줘서 나온 것이다. 그리고 나는 그 점수로 "내놓을지"를 결정한다.
1편의 급소를 정확히 찌른 질문이었다.
내 답 — 수정 세 건의 근거를 점검해봤다
질문을 받고, 내가 했던 수정 세 건을 기준 하나로 점검해봤다. 그때 무엇을 믿고 고쳤나 — 모델이 답에 붙여 보낸 그럴듯한 설명인가, 아니면 상품 목록과 주문 원문인가. 셋 다 목록과 원문을 직접 열어 확인하고 고친 것들이었다. 투명테이프는 상품 목록에 폭이 두 종류나 있는데 손님이 폭을 말하지 않았고, "250 5"라는 주문은 250으로 시작하는 상품이 다섯 개나 있는 데다 단위도 안 적혀 있었고, "저번에 그거"는 과거 기록이 있어도 그걸 가리킨다는 보장이 없었다. 셋 다 자료만으로는 답이 하나로 정해질 수 없는 문제였던 것이다.
그리고 수정 방향이 전부 같았다. "확정"을 "확인 필요"로 되돌리는 쪽. 모델이 고른 코드를 정답으로 받아 적은 적은 한 번도 없었다.
여기서 감시 규칙이 하나 나온다. 정답지가 모델을 따라가기 시작하면 수정 방향이 반대로 나올 것이다 — "확인 필요"를 "확정"으로 바꾸거나, 코드 A를 모델이 고른 코드 B로 바꾸는 수정. 그 방향의 수정이 나오는 순간이 멈출 신호다. 그때는 수정을 보류하고, 모델 답을 치운 상태에서 자료만으로 같은 결론이 나오는지 다시 따진다.
그리고 인정 — 사전 기준은 없었다
다만 정직하게 인정할 게 있었다. 그 판단들은 사후에 잘한 것이지, 미리 세워둔 기준이 있었던 게 아니다. 댓글을 준 분의 방식 — 문제를 낼 때 "규칙만으로 판정이 서는 문항인지"를 미리 표시해두는 것 — 이 더 나았다.
그래서 그대로 반영했다. 시험지의 문제 29개 전부에 rule_decidable이라는 표시를 붙였다. 자료만 보고 답이 하나로 정해지면 true, 정답이 "확인 필요"여야 하는 문제면 false.
붙이고 나니 검증이 하나 따라왔다. 출제자가 정답지를 고쳤던 세 문제에 전부 "답이 하나로 안 정해짐(false)" 표시가 붙었다. 세 번의 수정이 전부 "애초에 답이 안 정해지는 문제를 확정해놨던 실수"였다는 게 표시로 다시 확인된 것이다.
덤도 있었다. 이 표시를 붙이려면 문제마다 상품 목록을 실제로 열어봐야 한다. 답이 하나로 정해지는지는 목록을 봐야만 알 수 있기 때문이다. 그래서 문제를 내는 단계에서 정답지 실수가 미리 잡힌다. 1편의 투명테이프 문제를 낼 때 이 표시가 있었다면, 목록을 여는 순간 테이프가 두 종류인 걸 봤을 테고, 정답지에 "48mm 확정"이라고 잘못 쓰는 일도 없었을 것이다.
시험지에 생긴 두 개의 심판
이제 모델과 정답지가 다를 때 절차가 이렇다.
문제에 rule_decidable=true → 모델이 틀린 것. 정답지를 지킨다
문제에 rule_decidable=false → 정답이 "확인 필요"가 아니었다면 정답지 쪽 실수
표시 자체가 의심스러우면 → 자료를 다시 열어 표시부터 재판정분쟁이 생길 때마다 허둥대며 처음부터 따지는 게 아니라, 출제 때 박아둔 표시가 1차 심판을 본다. 그리고 수정 방향(확정→확인 필요만 정상)이 2차 감시를 한다.
정리
- 정답지를 고치는 것 자체는 잘못이 아니다. 상품 목록과 주문 원문을 확인하고 고치면 정상이고, 모델이 붙여 보낸 설명에 설득당해 고치기 시작하면 그때부터 잘못이다
- 그 경계를 넘는 순간은 본인이 못 느낀다. 그래서 눈에 보이는 신호를 하나 정해둔다 — "확인 필요"였던 정답을 "확정"으로 바꾸는 수정이 나오면 일단 멈추고 다시 따진다
- 제일 좋은 방어는 문제를 낼 때 "자료만으로 답이 정해지는가"를 미리 표시해두는 것이다. 표시를 붙이려면 상품 목록을 열어봐야 하니, 붙이는 일 자체가 검증이 된다
댓글 하나가 시험지의 설계를 바꿨다. 공개하면 검증이 찾아온다.
덧. rule_decidable 필드가 반영된 시험지는 저장소에 있다 → github.com/ramses203/llm-test-harness
덧2. 새 실험이 끝날 때마다 메일로도 보냅니다 → AI 검증 노트
