원문 정보
- 제목: Evaluate prompts in the developer console
- 링크: claude.com/blog/evaluate-prompts
- 발행: 2024년 7월 9일
- 카테고리: Product announcements
글의 요지
Anthropic Console에 프롬프트 평가(Evaluate) 기능 세트가 추가됐다. 5월의 Prompt Generator에 이어, 이번에는 테스트 케이스 자동 생성과 프롬프트 간 결과 나란히 비교가 핵심이다.
1단계: 프롬프트 생성
콘솔의 Prompt Generator (Claude 3.5 Sonnet 기반)에 "고객 지원 요청을 분류해줘" 같은 과제를 자연어로 말하면, 고품질 프롬프트가 생성된다.
2단계: 테스트 케이스 자동 생성
새로 추가된 Generate Test Case 기능은 프롬프트에 필요한 입력 변수의 샘플을 Claude가 스스로 생성한다. 예를 들어 "고객 지원 요청 분류" 프롬프트에는 실제 고객 메시지 여러 개가 필요한데, 이걸 수동으로 작성하지 않아도 된다. CSV 임포트나 수동 입력도 가능하다.
3단계: 테스트 수트 실행 + 결과 비교
여러 케이스를 한 번에 실행하고, 프롬프트의 여러 버전을 나란히 비교(side-by-side)할 수 있다. 주제 전문가가 5점 척도로 응답 품질을 직접 채점하는 기능도 추가됐다.
모든 기능은 Anthropic Console의 모든 사용자가 바로 사용 가능.
2026년에 다시 읽으며 — 내가 본 것
1. Anthropic이 "Eval"을 제품 표면으로 끌어올린 순간
머신러닝 엔지니어링에서 Eval(평가)은 모델 개발의 핵심 과제지만, 평가 인프라는 대개 내부 도구의 영역이었다. 각 팀이 자체 스크립트와 스프레드시트로 관리하는, 제품 밖의 일이었다는 뜻이다.
이 글은 Eval을 상업 제품의 일급 기능으로 끌어올린 시점이다. 이유는 명확하다 — LLM 애플리케이션 개발은 전통적 소프트웨어 개발과 품질 보증 방식이 다르다. 입출력이 확률적이어서 "같은 코드, 같은 결과"가 성립하지 않고, 따라서 통계적 평가 루프가 필수적이다. Anthropic은 이 요구를 플랫폼 기본값으로 내장하는 쪽을 택했다.
2026년 현재 이 접근은 Skill-creator의 eval 시스템, Claude Code의 contribution metrics, Enterprise Analytics API 같은 형태로 확장된다. 모두 "AI 시스템을 만들었으면 평가도 해야 한다"는 전제 위에 올라간 제품들이다.
2. "Claude가 테스트 케이스를 만든다" — 자기참조적 개발 루프의 완성
이 기능이 Prompt Generator의 자연스러운 확장이지만 한 단계 더 나아간다. Prompt Generator가 "Claude가 프롬프트를 쓴다"였다면, 이번에는 "Claude가 테스트 입력까지 만든다" 이다. 즉 개발 주기 전체가 다음과 같다.
- Claude가 프롬프트를 쓴다
- Claude가 테스트 케이스를 만든다
- Claude가 응답을 만든다
- (선택) Claude가 응답을 평가한다 — 나중에 LLM-as-Judge로 확장됨
개발자는 시드 아이디어 한 줄만 주고, 나머지는 Claude가 채운다. 2024년 7월 시점 이 구조는 새로웠다. 2026년 현재는 Agent Skills, Claude Code의 자동 테스트 생성, Evaluator agent 패턴까지 이어지는 긴 맥락의 한 점이다.
3. "5점 척도 인간 평가"의 의미
Eval 흐름에서 자주 간과되는 포인트가 있다. 주제 전문가가 응답을 5점으로 채점하는 기능이 포함됐다는 점이다.
이건 "Claude가 모든 걸 한다"의 반대편 이야기다. LLM 출력 품질은 자동 메트릭(정확도, BLEU, ROUGE 등)으로 완전히 포착되지 않는다. 특히 창작·상담·상담·의료·법률 같은 도메인에서는 인간 전문가의 주관적 판단이 여전히 최종 기준이다.
2024년의 이 5점 척도 UI는 그래서 "사람을 완전히 대체한다"가 아니라 "사람이 판단할 환경을 잘 구축한다" 는 방향을 보여준다. 2026년 HITL(Human-in-the-loop), SME-graded eval 같은 개념으로 일반화된 흐름의 초기 구현이다.
4. LLM-as-Judge가 아직 공식화되지 않은 시점
2024년 7월 이 글에서 Claude가 응답을 자동 채점하는 기능은 아직 없다. 채점은 인간이 직접 하는 단계다.
이 빈자리는 같은 해 11월에 공개된 Prompt Improver 와 그 후 LLM-as-Judge 패턴의 공식화로 채워진다. 2026년 현재 Anthropic의 엔지니어링 블로그에서 LLM-as-Judge는 당연한 기법이고, Improving skill-creator: Test, measure, and refine Agent Skills (2026년 3월) 같은 글에서는 변수 분산 분석까지 포함한 고도 평가 방법론이 소개된다.
이 글의 5점 인간 평가 UI는 그 진화 궤적의 첫 단계다 — "일단 인간에게 맡긴다"에서 시작해 점점 자동화·통계화된 평가로 발전한다.
5. "프롬프트 버전 관리"의 탄생
결과를 나란히 비교하는 기능이 들어간 순간, 사실상 프롬프트 버전 관리가 시작됐다. v1 프롬프트와 v2 프롬프트를 같은 테스트 수트에 돌려서 차이를 본다 — 이건 소프트웨어의 A/B 테스트와 본질적으로 같다.
이 패턴은 이후 Claude Platform에서 Prompt Caching, 모델 버전 비교, Enterprise Analytics로 계속 확장된다. 2026년 현재 대규모 Claude 배포 환경에서는 프롬프트가 모델만큼이나 중요한 배포 자산이다 — GitOps 방식으로 관리되고, 변경 리뷰를 거치고, 롤백된다. 그 문화의 씨앗이 이 UI에서 시작됐다.
6. 2024년 7월이라는 타이밍: Claude 3.5 Sonnet 시대의 첫 Platform 기능
이 글 발행일 2024년 7월 9일을 시간축에 놓자.
- 2024년 5월 20일: Prompt Generator 출시
- 2024년 6월 20일: Claude 3.5 Sonnet 공개 (당시 최강 모델)
- 2024년 6월 20일: Artifacts 공개 (Claude의 UI 생성 기능)
- 2024년 7월 9일: Evaluate 기능 (이 글)
Claude 3.5 Sonnet이 공개된 지 3주 만이다. 더 강력한 모델이 나왔으니, 그 모델을 잘 평가하고 튜닝할 도구가 필요했다. Evaluate 기능은 3.5 Sonnet이라는 새 엔진을 실무에 잘 투입하기 위한 인프라로 해석할 수 있다.
또한 이 패턴은 반복된다 — Anthropic은 새 모델을 내놓을 때마다 곧이어 그 모델을 평가하고 활용하기 위한 개발자 도구를 출시한다. Opus 4 → Agent SDK / MCP, Sonnet 4.6 → Cowork, Opus 4.7 → Claude Design. 모델 단독 출시보다 모델 + 도구 번들로 움직이는 습관이 여기서 시작됐다.
마무리
이 글은 단순히 "프롬프트 평가 도구가 추가됐다" 이상의 의미가 있다. LLM 개발의 중심이 "프롬프트를 잘 쓰기" 에서 "프롬프트를 잘 평가하기" 로 이동하는 지점이다. 모델 품질이 확률적이기에, 평가 없이는 개선도 없다.
Anthropic이 이 인프라를 제품 기본기로 심은 덕분에, 2026년 현재 Claude Platform에서 Skills·Agents·Connectors를 만들 때 평가 루프가 자연스럽게 포함된다. Eval이 선택사항이 아니라 기본 흐름이 된 개발 문화의 기원이 바로 이 7월 9일에 있다.
