AI 검증

주문 메시지를 읽는 AI를 만들기 전에 테스트 29개부터 만들었다. 모델은 치명 오류 0건으로 통과했는데, 정작 내가 쓴 정답지가 3번, 채점기가 2번 틀렸다. AI를 검증하려다 검증당한 기록.

지난 글에서 AI한테 주문 읽기 시험을 냈다가 출제자인 내가 5번 진 이야기를 했다.오늘은 그 시험지를 어떻게 만들었는지다. 결론부터 말하면 — 착한 문제는 낼 필요가 없다.시험을 만들라고 하면 누구나 잘 되는 경우부터 쓴다. "택배박스 250 5박스 주세요" → 택배

AI한테 주문 읽기 시험 29문제를 냈다. 지난 글은 시험지 만드는 법이었고, 오늘은 채점이다.채점이 따로 한 편인 이유가 있다. 채점을 잘못 만들면 점수가 거짓말을 한다.모른다. 어떤 5개인지가 빠져 있기 때문이다.오타 섞인 문제 5개를 틀렸으면 내놔도 된다. 근데

주문 읽기 시험 29문제를 두 모델한테 풀게 했다.싼 모델(Haiku 4.5)과 값이 세 배쯤 하는 비싼 모델(Sonnet 5)이다.(비싼 모델의 1문제는 호출 한도에 걸려 실행 못 했다)3배 비싼 모델이 더 잘한 건 사실이다. 딱 한 문제만큼.페트 300 투명 10박

주문 읽기 AI가 시험 29문제를 통과했다. 치명 오답 0. 모델도 골랐다.이제 내놓으면 되나?안 된다. 그리고 그 이유가 이 시리즈에서 제일 중요하다.이 시험의 문제, 정답지, 상품 목록 — 전부 내가 만들었다.그러면 "29문제 통과"의 정확한 뜻은 이거다."내가 상

AI 관련 유튜브 영상 140여 개에서 댓글을 22,000개쯤 수집해 분류해본 적이 있다. 사람들이 뭐 궁금해하는지 보려던 것이었는데, 나온 건 좀 다른 것이었다. 영상이 다루는 것 그 140여 개 영상의 제목과 태그를 모으면 이렇다. 설치하는 법. 시작하는 법

지금까지 주문 읽기 AI한테 시험 내는 이야기를 썼다.읽은 분들 중에 이런 생각이 들었을 것이다. "제 건 주문이 아니라 회의록 요약인데요." "저는 메일 분류를 시키는데요."좋은 소식 — 시험지는 훔쳐가라고 만드는 것이다. 바꿀 건 두 가지뿐이다. 대조할 데이터(내

3편에서 채점기가 두 번 틀렸다는 이야기를 썼다. 잘린 JSON을 빵점 처리한 것, 잘한 답에 벌점을 준 것. 둘 다 사람이 답안을 다시 읽다가 잡은 실수였다.그 채점기가 그 뒤로 두 번 더 틀렸다는 걸 알게 됐다. 이번에 잡은 건 사람이 아니라 AI다.영어권에서 AI

1편에서 시험지 29문제를 만들며 내가 다섯 번 틀렸다는 이야기를 썼다. 정답지에서 세 번, 채점기에서 두 번. 그 뒤로 계속 궁금했다. 출제를 AI한테 시키면 몇 번 틀릴까.세보았다.하멜의 검증 교과서(Your AI Product Needs Evals)에는 시험 문제

7편에서 "이 시험지는 훔쳐가라고 만드는 것"이라고 썼다. 5단계만 따라 하면 어느 일에나 옮겨진다고.다른 사람 입장에서 한번 해보기로 했다. 7편이 시키는 대로만, 처음부터 끝까지.옮겨갈 두 번째 일감은 유튜브 댓글 분류로 골랐다. 댓글 2만 개를 긁어서 "이건 니즈

지난 글에서 내 댓글 분류기(정규식)가 시험 15문제에서 치명 오류(사람이 되돌릴 수 없는 실수) 3건을 냈다는 이야기를 썼다. 우리 기준으로 치명이 있으면 못 쓴다. 그럼 뭘로 바꾸나.후보는 하나다. LLM한테 분류를 시키는 것. 그래서 같은 시험지로 대결을 붙였다.

1편을 올리고 사흘 뒤, GeekNews에 댓글이 하나 달렸다. 앞부분은 칭찬이었고 뒷부분이 이거였다.출제자가 3패 하는 동안 정답지를 고친 방향이 전부 "모델이 맞았다" 쪽이었는데, 이게 반복되면 정답지가 모델 행동에 수렴할 위험은 없을까요. 저는 도메인 규칙만 보고

우리가 선례로 삼는 사람이 있다. AI 제품 검증을 가르쳐서 수강생 4,500명을 모은 하멜 후세인(Hamel Husain)이다. 8편의 AI 채점관 실험도 그의 방법을 우리 손으로 실증한 것이었다.그의 검증 글을 읽다가 걸리는 대목을 만났다. 채점은 좋다/나쁘다 둘로