AI 관련 유튜브 영상 140여 개에서 댓글을 22,000개쯤 수집해 분류해본 적이 있다.
사람들이 뭐 궁금해하는지 보려던 것이었는데, 나온 건 좀 다른 것이었다.
영상이 다루는 것
그 140여 개 영상의 제목과 태그를 모으면 이렇다.
설치하는 법. 시작하는 법. 앱 만드는 법. 어떤 툴이 좋은지.
전부 "시작"이다. 여기까지 하면 됩니다, 화면에 결과가 뜨고, 영상이 끝난다.
댓글이 말하는 것
그런데 댓글에서 좋아요를 쓸어담는 건 다른 얘기였다.
"AI 오류 검증하는 데 시간이 너무 걸림. 매번 이상한 답인지 확인하기 피곤해서 결국 직접 함" (👍598)
"AI로 코딩하면 불안함. 버그 하나라도 나면 내가 책임. 결국 일일이 확인·디버깅하는 게 오히려 더 일" (👍265)
"매달 결제해서 쓰는데 업무 관련해서는 거짓말을 밥먹듯 함" (👍72)
"토큰이 너무 빨리 소진… 50달러 추가했는데 반나절도 안 돼 다 씀" (👍30)
정리하면 세 마디다. 비싸고, 못 믿겠고, 못 고치겠다.
영상은 시작을 가르치는데, 사람들은 시작한 다음에서 죽고 있었다.
제일 무서운 댓글
"샴푸 추천해달램더니 세상에 없는 제품을 추천해줌. 진짜 있는 제품 사이에다 교묘하게 넣어두고 중량이랑 효능, 금액까지" (👍49)
이 댓글이 문제의 본질이다. AI가 틀릴 때는 틀린 티가 안 난다. 맞는 것들 사이에 섞여서, 그럴듯한 숫자까지 달고 나온다.
그래서 "질문을 잘하면 된다"는 조언이 반쪽이다. 질문을 잘하면 틀릴 확률이 내려간다. 근데 틀렸는지 아는 방법은 안 생긴다. 확률이 10%에서 3%로 내려가도 그 3%가 어디 숨었는지는 모른다. 그 3%가 결제 로직에서 터지면 돈이 나간다.
하나 더 — 진짜 질문은 어디에 있나
수집하다 보니 채널 크기에 따라 댓글의 성질이 달랐다.
구독 수백만 대형 영상 실제 질문·니즈가 댓글의 12%. 나머지는 감상과 불안
구독 1만~30만 중소형 실제 니즈가 26%. "따라 했는데 여기서 막혀요"구경하는 사람과 직접 하는 사람의 차이다. 대형 영상 댓글은 "AI 시대에 어떻게 되나요"를 묻고, 중소형 채널 댓글은 "이 에러 어떻게 잡나요"를 묻는다.
진짜 질문은 중소형 채널 댓글에 있었다. 답글까지 수집하면 더 나온다 — 원댓글만 볼 때보다 니즈가 470건 더 잡혔다.
그래서 나는
이 데이터를 보고 방향을 정했다. 시작을 가르치는 콘텐츠는 이미 넘친다. 시작한 다음 — 못 믿겠고 못 고치겠는 구간을 다루기로.
그 첫 결과물이 지난 글들이다. AI한테 시험 내는 법, 함정 심는 법, 등급으로 채점하는 법, 시험을 통과해도 바로 안 내놓는 이유. 전부 "못 믿겠다"를 "확인했다"로 바꾸는 이야기다.
배우는 사람은 시작에서 안 죽는다. 그다음에서 죽는다.
그런데 파는 쪽은 다들 시작만 파는다.
덧. 댓글을 수집하고 분류한 방법도 언젠가 정리해볼 생각이다.
다음 글 — 이 시험지를 당신 일에 그대로 옮기는 법.
덧2. 새 실험이 끝날 때마다 메일로도 보냅니다 → AI 검증 노트
