원문 정보
- 제목: Prompt caching with Claude
- 링크: claude.com/blog/prompt-caching
- 발행: 2024년 8월 14일 (2024년 12월 17일 GA)
- 카테고리: Product announcements
글의 요지
Anthropic API에 Prompt Caching(프롬프트 캐싱)이 공개 베타로 추가됐다. 자주 쓰는 컨텍스트를 한 번만 처리하고 후속 요청에서 재사용하는 기능. 비용 최대 90% 절감, 지연 최대 85% 감소.
핵심 동작
- 프롬프트의 일부(보통 시스템 프롬프트, 대용량 문서)를
cache_control마커로 표시 - 첫 요청에서 그 부분을 처리·캐싱 (cache write — 약간 비싼 가격)
- 후속 요청에서 같은 프리픽스를 재사용 (cache read — 90% 할인)
- 5분 TTL 안에 다시 사용되면 캐시 갱신
가격 구조 (Claude 3.5 Sonnet 기준)
| 종류 | 가격 (per 1M tokens) | 비고 |
|---|---|---|
| 일반 입력 | $3.00 | 베이스라인 |
| Cache write | $3.75 | +25% |
| Cache read | $0.30 | -90% |
즉 첫 한 번은 25% 비싼 대가를 치르고 캐싱하면, 이후 모든 재사용은 90% 할인.
효과 예시 (본문 인용)
100K 토큰의 책 한 권을 컨텍스트로 두고 질문:
- 캐싱 전: 11.5초 응답
- 캐싱 후: 2.4초 응답 (85% 감소)
이상적 사용 사례
- 대화형 에이전트: 긴 시스템 프롬프트 또는 업로드 문서가 많은 경우
- 코딩 어시스턴트: 같은 코드베이스에 대한 여러 질의
- 대용량 문서 처리: 책, 계약서, 논문에 대한 반복 Q&A
- 상세 지시 세트: 긴 instructions와 예시를 매 요청에 반복
출시 모델
- Claude 3.5 Sonnet (8월 14일 베타 시작)
- Claude 3 Haiku (동시)
- Claude 3 Opus (조금 후 추가)
- Amazon Bedrock, Vertex AI (12월 17일 GA 시점)
베타 헤더
anthropic-beta: prompt-caching-2024-07-312026년에 다시 읽으며 — 내가 본 것
1. "보이지 않는 인프라"의 결정적 등장
이 기능이 발표됐을 때 시장 반응은 놀라울 정도로 조용했다. 왜? "프롬프트 캐싱"이라는 이름이 너무 기술적이고, 마케팅 메시지가 90% 비용 절감에 집중됐는데 그게 추상적이었기 때문이다.
CostLens 블로그가 정확히 짚는다 — "Anthropic이 이 기능을 거의 마케팅하지 않았고, 문서는 깊숙이 묻혀 있고, 대부분 개발자가 언제 적용되는지 이해 못 한다."
그런데 1년이 지나서 보니, 이 기능이 Claude 인프라의 가장 중요한 요소 중 하나다. 이유:
- 에이전트 워크플로의 경제학: 긴 시스템 프롬프트 + 도구 정의를 매 턴 보내야 하는 에이전트가 폭증. 캐싱 없이는 비용이 감당 안 됨
- Claude Code의 핵심: 매 명령마다 같은 코드베이스 컨텍스트 + CLAUDE.md 재사용. 캐싱이 Claude Code의 경제성 핵심
- Skills 시스템: 같은 SKILL.md를 반복 참조. 캐싱이 지속적 비용 차이 만듦
- MCP 서버 통합: 50K+ 토큰 도구 정의를 매번 보내는 대신 캐싱
즉 Prompt Caching이 없었다면 2025~2026년의 에이전트 시대가 경제적으로 불가능했다.
2. "5분 TTL"의 함의 — 당시엔 한계, 이젠 자연스러운 패턴
초기 버전의 5분 TTL이 비판받은 부분이다. 사용자가 5분 안에 후속 요청을 안 하면 캐시 만료되고 다시 비싼 가격으로 처리.
이 한계는 시간이 지나며 점진적으로 해결됐다.
- 2024년 8월: 5분 TTL
- 2025년 1월: 자동 캐시 매칭 (cache_control 수동 지정 단순화)
- 2025년 2월: cache-aware rate limits (캐시 읽기를 ITPM에서 제외)
- 2025년 5월: 1시간 TTL 베타 추가 (Agent Capabilities API 공지)
- 2025년 8월: 1시간 TTL GA
- 2026년 2월: 시스템 프롬프트 자동 캐싱이 기본 동작
진화의 방향이 명확하다 — 사용자가 의식하지 않아도 캐싱이 자동으로 효율 최대화. 처음엔 수동·짧은 TTL이었던 게 점점 자동화·긴 TTL로 갔다.
3. "최소 토큰 임계점"이 만드는 사용자 분리
캐싱 활성화에는 최소 프리픽스 길이가 있다.
- 대부분 모델: 1024 토큰
- Claude 3.5 Haiku, 일부 Haiku 변형: 2048 토큰
- Claude Opus 4.5, Haiku 4.5: 4096 토큰
이 임계점이 의미하는 것:
- 소규모 사용: 짧은 프롬프트는 캐싱 못 함 (오버헤드 vs 이득 균형)
- 엔터프라이즈 사용: 긴 시스템 프롬프트, 큰 문서, 풍부한 도구 정의 = 캐싱 강력 적용
- 자연스러운 시장 분리: 캐싱은 헤비 유저용 기능이 됨
이게 Anthropic의 설계 의도와 잘 맞는다. 간단한 사용은 캐싱 없이도 충분하고, 복잡한 에이전트 시스템은 캐싱 없이는 못 견딘다. 가격이 자연스럽게 워크로드를 분리한다.
4. "5분 vs 1시간"의 비용 트레이드오프
5분 vs 1시간 TTL의 가격 차이가 흥미롭다.
- 5분 TTL: cache write $3.75/M (Sonnet 3.5)
- 1시간 TTL: cache write $6/M (2배 비쌈)
왜 1시간이 더 비싼가? Anthropic의 GPU 메모리에 더 오래 보존해야 하니까. KV cache(키-값 캐시)는 GPU 메모리를 차지하고, 오래 유지할수록 그 자원의 기회비용이 크다.
이 가격 차이가 만드는 사용 패턴 결정:
- 자주 사용하는 캐시: 5분 TTL이 충분 (재사용이 빨라서 갱신됨)
- 드물지만 큰 캐시: 1시간 TTL이 절약 (5분이면 만료돼서 매번 재캐싱)
- 에이전트 워크플로: 1시간이 명확한 승리 (수십 분 작업)
- 고객지원 챗봇: 5분이 충분 (대화 안에서 빠르게 회전)
5. "Anthropic이 OpenAI보다 먼저 한 일"
타임라인의 흥미로운 점 — Prompt Caching에서는 Anthropic이 선두였다.
- 2024년 8월 14일: Anthropic Prompt Caching 베타
- 2024년 9월경: OpenAI 자동 prompt caching (사용자가 의식 안 해도 자동 적용)
- 2024년 10월: Google Gemini Context Caching
Anthropic의 접근은 수동 마커 기반, OpenAI의 접근은 자동 인식. 둘 다 장단점이 있다.
- 수동 (Anthropic): 개발자가 정확히 어디를 캐싱할지 결정 → 더 효율적
- 자동 (OpenAI): 개발자가 신경 안 써도 됨 → 진입 장벽 낮음
흥미롭게도 2025년 이후 Anthropic은 "자동 매칭" 방향으로 점차 이동했다. 사용자 부담을 낮추는 게 더 좋은 선택이라는 게 입증된 셈이다.
6. 1.5년 후, "stacking discounts"의 정착
이 기능이 단독으로 90% 절감이라면, 다른 기능과 결합 시:
- Prompt Caching: 90% 할인
- Batch API: 추가 50% 할인
- 결합: 최대 95%+ 절감
Anthropic이 2025년 후반에 이걸 "stacking discounts" 라는 공식 용어로 인정했다. 즉 비용 최적화 옵션을 적극 결합하는 게 표준 패턴이 된 것.
이 결과 LLM 운영 비용 구조가 완전히 바뀌었다.
- 2023년: API 호출 = 토큰 × 가격, 단순함
- 2024년: + 캐싱 → 같은 컨텍스트는 90% 절감
- 2025년: + 배치 → 비실시간 작업 50% 추가 절감
- 2026년: + 자동 컨텍스트 압축, automatic caching → 사용자가 거의 의식 안 해도 최적
이 비용 절감 누적이 Claude를 대규모 데이터 처리에 쓸 수 있게 만들었다. 2026년 현재 RAG 인덱싱, 코드 분석, 문서 분류 같은 워크로드가 Claude로 경제성 있게 돌아간다.
마무리
Prompt Caching은 Anthropic 인프라에서 가장 조용히 출시된 가장 영향력 큰 기능 중 하나다. 발표 시점엔 마케팅이 약했고 시장 반응도 밋밋했지만, 1.5년 후 시점에서 이 기능 없이는:
- 에이전트의 경제성 없음
- Claude Code의 multi-hour 세션 불가능
- MCP 서버 50K+ 토큰 정의 사용 불가능
- Skills, Cowork, Research 같은 후속 제품들 부담 큼
즉 이 2024년 8월 14일의 한 기능이 이후 2년간 모든 에이전트 제품의 경제적 토대가 됐다. "보이지 않는 인프라"라는 표현이 잘 어울린다 — 사용자는 직접 못 보지만, 그 위에 모든 게 서 있다.
흥미로운 메타-관찰: Anthropic이 2025~2026년에 한 거의 모든 업데이트(자동 매칭, 1시간 TTL, ITPM 제외, stacking discounts)는 이 8월 14일 기능을 계속 더 사용하기 쉽고 강력하게 만드는 방향이었다. 한 기능을 1.5년에 걸쳐 다듬어 인프라 전체의 기둥으로 키워온 사례다.
