7편에서 "이 시험지는 훔쳐가라고 만드는 것"이라고 썼다. 5단계만 따라 하면 어느 일에나 옮겨진다고.
다른 사람 입장에서 한번 해보기로 했다. 7편이 시키는 대로만, 처음부터 끝까지.
훔쳐갈 곳 — 하필 내 도구
옮겨갈 두 번째 일감은 유튜브 댓글 분류로 골랐다. 댓글 2만 개를 긁어서 "이건 니즈, 이건 잡담, 이건 지불신호"로 나누는 일. 6편에서 발표한 숫자들이 전부 이 분류에서 나왔다.
그러니까 이번 실험은 이중으로 찔리는 실험이다. 시험지가 옮겨지는지 확인하는 동시에, 내 글의 근거 데이터를 만든 도구가 시험을 통과하는지 확인하게 된다.
반전부터 — 그 도구는 AI가 아니었다
시험지를 만들기 전에, 검증할 대상부터 파악하려고 분류 도구의 코드를 열었다. 댓글 2만 개를 분류한 건 AI가 아니라 정규식이었다. "댓글에 이 키워드가 들어 있으면 이 카테고리"라는 단어 매칭.
실제 데이터 파일의 둘째 줄에서 바로 사고를 발견했다.
문과는 돈이 안 되기 때문에 대체하려고 하지 않을 것이다에 걸었던 대학원 선배의 예측이 맞았다.
사회 논평이다. 니즈도 아니고 에러 얘기는 더더욱 아니다. 그런데 분류 결과는 "에러·디버깅" 카테고리의 니즈였다. 문장 속 "안 되"라는 두 글자가 에러 키워드와 우연히 일치했기 때문이다. 좋아요 1만 개짜리 댓글이라 점수도 상위권이었다.
시험지를 만들기도 전에 사고 현장부터 나온 것이다.
5단계를 그대로 따라갔다
1단계 — 최악부터 적는다. 이 분류 결과는 내가 뭘 만들지, 뭘 팔지 정하는 데 쓰인다. 그러니 최악의 사고는 "잡담을 니즈로 승격시켜 가짜 수요를 만드는 것"이다. 가짜 수요로 내린 제품 결정은 몇 주를 태운다.
2단계 — 등급표. 실수를 치명·위험·누락·무해 네 등급으로 나누는 표다. 7편에 "첫 줄인 치명 등급만 프로젝트마다 새로 정하면 되고, 나머지 세 줄은 어느 프로젝트든 같다"라고 썼는데, 옮겨 보니 안 맞는 줄이 있었다. 주문 쪽에서 누락(잡아야 할 것을 못 잡음)은 가벼운 축이었다. 주문을 놓치면 거래처가 전화해서 사람이 알게 되니까. 그런데 댓글은 버려지면 아무도 다시 안 본다. 같은 누락이 여기서는 사실상 치명이다.
표를 채우다 보니 시험을 칠 정규식 도구 쪽에서도 문제가 하나 보였다. 이 도구에는 "모르겠으니 사람이 봐달라"고 답하는 길 자체가 없다. 어떤 댓글이든 무조건 어느 한쪽으로 확정한다. 틀린 확정이 확정 못 한 것보다 나쁘다는 우리 1원칙에서 보면, 시험을 치기도 전에 이미 위험한 성질이다.
3단계 — 함정 심기. 7편의 함정 네 종류(헷갈리는 쌍, 그럴듯한 비대상, 말 바꾸기, 배운 다음)를 댓글 버전으로 바꿔 심었다. 그런데 심다 보니 목록에 없는 다섯 번째 함정이 나왔다. 키워드 우연 일치 — "안되겠다 오늘은 자야지 ㅋㅋ" 같은 잡담이 "안되"라는 글자 때문에 니즈로 분류되는 것. 글자 일치로 찾는 도구에서만 생기는 함정이라 7편 목록에는 없었다.
4단계 — 정답지. 시험 댓글 15개를 만들고 문제마다 정답과 "자료만으로 판정이 서는가"를 적었다. "저도요 ㅠㅠ"(원댓글 없는 답글) 같은 문제는 판정 불가 — 정답이 "확인 필요"인 문제다.
5단계 — 채점. 여기서도 7편대로 안 되는 게 나왔다. 주문 시험지의 채점기 코드는 품목코드·수량 같은 주문 전용 항목에 묶여 있어서 한 줄도 재사용하지 못했다. 옮겨진 건 코드가 아니라 등급표와 원칙이라는 생각의 틀이었고, 채점기 40줄은 새로 썼다.
성적표
내 댓글 분류기(정규식): 케이스 15건 · 무결점 8건 (53%)
🔴 치명 3 🟠 위험 5 🟡 누락 1 🟢 무해 0치명 3건은 전부 키워드 우연 일치였다. 사회 논평, 잡담, 경험담이 니즈로 승격됐다.
우리 배포 기준은 처음부터 하나였다 — 치명이 0이면 내놓고, 아니면 못 내놓는다. 이 도구는 치명 3이다. 그리고 나는 이 도구가 만든 숫자를 이미 6편에 발표했다. 다행히 6편의 핵심(좋아요 598짜리 "못 믿겠다" 댓글들)은 원문 인용이라 흔들리지 않지만, 비율 숫자들은 이 정규식의 정확도만큼만 믿을 수 있다. 이것도 정직하게 적어둔다.
그래서 — 옮겨지긴 하나?
옮겨진다. 1시간 걸렸다. 다만 매뉴얼(7편)에 결함 4개가 있다는 걸 몸으로 알게 됐다.
① 빠진 단계 "검증할 대상부터 파악하라"가 없다. 실제론 여기에 시간이 절반은 들었다
② 등급표 과장 "나머지 세 줄은 어디든 같다" — 프로젝트에 따라 누락이 치명급이
되기도 한다. 등급표도 옮길 때마다 다시 따져야 한다
③ 채점기 종속 옮겨지는 건 생각의 틀이지 코드가 아니다. 채점기는 새로 쓴다
④ 함정 불완전 4종은 시작일 뿐. 도구 종류(정규식·LLM)마다 자기만의 함정이 있다이 결함 목록이 이 실험의 진짜 수확이다. 시험지를 훔쳐가려는 다음 사람은 이 네 개를 미리 알고 가면 1시간이 아니라 30분에 끝낼 것이다.
정리
- 시험지는 옮겨진다. 옮겨지는 건 코드가 아니라 다섯 단계와 등급표라는 생각의 틀이다
- 옮기는 김에 자기 도구부터 채점해봐라. 나는 내 글의 근거를 만든 도구에서 치명 3을 찾았다
- "어디든 같다"고 쓴 매뉴얼은 의심해라. 내가 쓴 매뉴얼도 결함이 네 개 나왔다
덧. 이 시험지 15문제와 채점 결과는 저장소에 공개해뒀다 → github.com/ramses203/llm-test-harness의 comment_exam.py
다음 글 — 같은 시험지를 LLM한테도 풀게 했다. 정규식과 LLM 중 뭘 쓸지 그 성적으로 정했다.
덧2. 새 실험이 끝날 때마다 메일로도 보냅니다 → AI 검증 노트
