원문 정보
- 제목: Introducing the Message Batches API
- 링크: claude.com/blog/message-batches-api
- 발행: 2024년 10월 8일 (2024년 12월 17일 GA 업데이트)
- 카테고리: Product announcements
글의 요지
Anthropic API에 Message Batches API가 공개 베타로 추가됐다. 실시간 응답이 필요하지 않은 대량 쿼리를 비동기 일괄 처리 방식으로 보내면, 24시간 안에 결과가 돌아오고 요금이 50% 할인된다.
핵심 스펙
- 배치당 최대 10,000개 쿼리 (32MB 한도)
- 24시간 내 처리 (대개 훨씬 빠름)
- 요금 50% 할인
- 지원 모델: Claude 3.5 Sonnet, Claude 3 Opus, Claude 3 Haiku
- 처리 상태 폴링:
in_progress→ended - 배치 보존 기간: 29일
추가 장점
- 처리량 증가: 표준 API 레이트 리밋과 별도로 높은 batch rate limit 적용
- 큰 데이터셋 대응: 수백만 건의 문서 분석, 분류, 모델 평가 작업이 경제적으로 가능
고객 사례: Quora
Quora는 Batches API를 요약 및 하이라이트 추출에 활용한다. Andy Edmonds 제품 매니저의 코멘트가 단순하지만 명확하다.
"실시간으로 돌릴 필요 없는 쿼리를 많이 돌리는 복잡도를 줄여주면서 비용도 절감된다. 배치를 제출하고 24시간 안에 결과를 받는 편이, 같은 결과를 얻기 위해 수많은 병렬 실시간 쿼리를 관리하는 것보다 훨씬 편리하다. 엔지니어가 더 재미있는 문제에 시간을 쓸 수 있게 해준다."
다른 경로에서의 배치 처리
- Amazon Bedrock: 배치 추론 이미 지원
- Google Cloud Vertex AI: "곧 지원 예정" → 이후 프리뷰로 공개
2026년에 다시 읽으며 — 내가 본 것
1. "LLM API 요금의 50%"라는 숫자가 만드는 새 워크로드
2024년 10월 시점 주요 경쟁자들의 움직임을 보면 이 숫자는 업계 표준이다 — OpenAI Batch API, Google Gemini Batch, Anthropic Message Batches 모두 50% 할인.
왜 절반일까? LLM 서빙 인프라의 특성 때문이다. 실시간 추론은 지연 시간 예측성을 위해 GPU를 여유 있게 돌린다. 배치 처리는 이 여유 자원이 놀고 있을 때(새벽, 주말, 트래픽이 빈 구간) 채워 넣는 방식이다. 즉 인프라 낭비를 줄이고 그 절감분을 고객에게 돌려주는 모델이다.
이 가격 혁신이 만든 가장 큰 변화는 "LLM을 대량 데이터 파이프라인에 쓸 수 있게 됐다" 는 점이다. 50% 할인 전에는 수백만 건 분류 작업을 LLM으로 돌리는 건 비용상 미친 짓이었다. 50% 할인 + prompt caching까지 겹치면 최대 95% 절감 수준까지 간다. 실제로 Alex Albert (Anthropic DevRel 리드)가 2024년 10월 공개적으로 확인한 숫자다.
2. "24시간"이라는 SLA의 심리학
24시간이라는 완료 보장 시간이 정해진 건 사실 의도적이다. 완료 시간이 명확하면 개발자는 파이프라인을 설계할 수 있다.
이게 없으면 "이 배치가 언제 끝날지 모르겠다" → "따라서 이 배치를 운영에 의존할 수 없다"가 된다. "1시간에 끝날 수도 있고 10시간 걸릴 수도 있는" 비결정론적 시스템보다, "최대 24시간, 평균은 훨씬 빠름" 이 더 설계하기 쉽다.
이건 Anthropic이 특별히 잘한 건 아니고, 배치 처리라는 카테고리의 기본 UX다. 그러나 2024~2026년 사이 Anthropic이 이 약속을 잘 지켰다는 게 중요하다. 2026년 공식 문서는 "대부분의 배치가 1시간 안에 끝난다" 는 실측을 자신 있게 명시한다.
3. "에이전트 시대"에 배치 API는 어떻게 변했나
2024년 10월의 Message Batches API는 "오프라인 데이터 분석"의 도구로 포지셔닝됐다 — 고객 피드백 분석, 데이터셋 분류, 모델 평가. 실시간 에이전트와는 다른 길이다.
그런데 2026년 시점에서 이 API의 용도가 재미있게 진화했다.
- 에이전트 평가: Agent Skill의 variance-aware eval이 배치로 수천 케이스 돌림
- 멀티모델 비교: 같은 프롬프트를 여러 모델/버전에 한 번에
- 합성 데이터 생성: 파인튜닝용·평가용 데이터 대량 생성
- 긴 출력 생성: 2026년 Opus 4.6/Sonnet 4.6에서
max_tokens=300K까지 확장 — 한 요청에 책 한 권 분량
특히 마지막이 흥미롭다. 원래 배치 API는 "많은 짧은 요청"이 목적이었는데, 한 요청의 출력 길이까지 확장된 건 생각지 못한 진화다. 긴 문서 생성, 대규모 코드 생성 같은 용도가 이 길로 들어왔다.
4. "복잡도 감소"라는 Quora의 인용이 진짜 하는 말
Quora 인용문의 핵심은 "운영 복잡도 감소" 다. "돈 절약"보다도 먼저 온다.
실제 현업에서 대량 LLM 처리는 다음 인프라를 다 만들어야 했다.
- 큐 시스템 (SQS, Kafka, Redis Streams 등)
- 워커 프로세스 / Airflow / Celery
- 레이트 리밋 관리 (토큰 버킷, exponential backoff)
- 실패한 요청 재시도, dead letter queue
- 진행률 모니터링
Batches API 하나면 이 전부를 Anthropic이 관리한다. "우리 대신 Anthropic이 인프라를 대는" 구조다. 이게 엔지니어의 시간을 아끼는 가장 큰 포인트고, Quora가 비용보다 먼저 언급한 이유다.
2026년 기준 이 논리는 더 강해졌다. MCP, Skills, Claude Code hooks, Cowork 자동화 — 모두 "직접 인프라 만들지 말고 Anthropic이 관리하는 인프라에 위임하세요"라는 공통 메시지를 갖고 있다. Batches API가 그 문화의 초기 예시다.
5. "Prompt Caching과의 조합" — 숨겨진 시너지
이 글의 본문에서는 언급되지 않지만, Alex Albert이 출시 일주일 뒤(2024년 10월 15일) 트위터에서 확인한 중요한 사실이 있다 — Batches API와 Prompt Caching은 결합 가능하다.
- Batch 50% 할인 × Prompt caching 90% 할인 = 최대 95% 절감
이 결합은 특정 워크플로에서 혁신이었다. 예를 들어 "같은 긴 시스템 프롬프트 + 다른 사용자 입력 1만 건" 을 돌리는 경우, 캐시된 시스템 프롬프트 비용은 한 번만 내고, 거기에 배치 할인까지 붙는다.
2026년 Anthropic 공식 문서는 이 결합을 정식 기능으로 "stacking discounts" 라는 용어로 언급한다. 초기에는 숨은 팁이었던 것이, 지금은 공식 셀링 포인트다.
6. 이 API가 없었다면 만들지 못했을 제품들
2024년 10월 이후 Claude 기반으로 등장한 제품 중 이 배치 API 없이는 경제적으로 불가능했을 것들을 생각해볼 수 있다.
- 대규모 문서 RAG 인덱싱: 수십만 문서를 Claude로 임베딩 전처리/요약
- 전자상거래 리뷰 분석: 수백만 리뷰의 감성·토픽·위험 신호 분류
- 법률 계약서 자동 검토: 대기업 수만 건 계약 일괄 분석
- AI 튜터 학생 과제 채점: 야간 배치로 수천 건 처리
- 컨텐츠 모더레이션: 플랫폼에서 수백만 건의 UGC 재검토
이 중 많은 사례가 2025~2026년 Anthropic 고객 스토리로 등장한다. Batches API가 그 경제성의 토대다.
마무리
Message Batches API는 "재미없는" 기능이다. Artifacts처럼 눈에 띄는 UX 혁신도 아니고, 모델 업그레이드도 아니다. 그러나 LLM을 제품 기능이 아니라 데이터 파이프라인 구성 요소로 사용할 수 있게 만든 기본기다.
2026년 현재 Anthropic의 비즈니스 스택에서 이 API는 보이지 않지만 결정적인 레이어 중 하나다. 실시간 UI에서 쓰는 토큰은 결국 소수고, 대부분의 B2B 매출은 백그라운드 배치에서 나온다. 한 줄 요약 공지처럼 보이는 이 블로그 뒤에는 Claude의 매출 구조를 바꾸는 조용한 터닝포인트가 있다.
