원문 정보
- 제목: Token-saving updates on the Anthropic API
- 링크: claude.com/blog/token-saving-updates
- 발행: 2025년 2월 27일 (Claude 3.7 Sonnet 출시 직후)
- 카테고리: Product announcements
글의 요지
Claude 3.7 Sonnet 출시와 함께, API의 처리량을 늘리고 토큰 사용량을 줄이는 세 가지 업데이트가 동시 공개됐다. 셋 다 기존 코드를 거의 수정하지 않고 바로 적용할 수 있는 것이 특징이다.
1) Cache-aware rate limits
Prompt caching은 이미 있던 기능이다 — 같은 컨텍스트를 여러 요청에서 재사용해 비용을 최대 90% 절감, 지연을 최대 85% 감소시킨다. 이번 업데이트의 핵심은:
- 캐시 읽기 토큰이 ITPM(Input Tokens Per Minute) 한도에 더 이상 카운트되지 않음
즉 캐시로 얼마나 많이 읽어오든 레이트 리밋이 풀린다. 큰 지식베이스를 컨텍스트에 유지하면서 높은 처리량이 필요한 다음과 같은 애플리케이션에 유리하다.
- 대형 지식베이스 기반 문서 분석 플랫폼
- 방대한 코드베이스를 참조하는 코딩 어시스턴트
- 상세한 제품 문서를 쓰는 고객 지원 시스템
2) 단순화된 prompt caching
이전에는 개발자가 어떤 캐시 세그먼트를 사용할지 수동으로 지정해야 했다. 이제는 Claude가 가장 적절한 캐시된 콘텐츠를 자동으로 식별·재사용한다. 개발자 부담이 줄 뿐만 아니라 토큰 여유도 늘어난다. (Anthropic API + Vertex AI)
3) Token-efficient tool use
Claude 3.7 Sonnet이 tool use 호출을 토큰 효율적으로 하도록 최적화됐다. 출력 토큰 소비가 최대 70% 감소, 초기 사용자 평균 14% 감소.
활성화 방법: 요청에 token-efficient-tools-2025-02-19 베타 헤더를 추가. Anthropic API, Amazon Bedrock, Google Cloud Vertex AI 모두에서 지원.
4) 추가로: text_editor 도구
이 글 끄트머리에 가볍게 소개된 text_editor 도구도 함께 공개됐다. 문서 편집 워크플로를 더 효율적으로 만드는 내장 도구다.
2026년에 다시 읽으며 — 내가 본 것
1. "숨겨진 비용"과의 싸움이 본격화된 순간
LLM을 운영하는 모든 조직이 2024년 말~2025년 초에 직면한 현실 — "토큰이 예상보다 빨리 새어나간다". 특히 다음 두 케이스에서 터진다.
- 에이전트: 긴 시스템 프롬프트 + 툴 정의가 매 턴마다 반복 전송 → 수십 턴 × 같은 10K 토큰 = 엄청난 낭비
- 툴 사용: 툴 정의와 툴 응답이 JSON으로 부풀어오름, Claude 출력도 JSON 감싸기에 토큰 소비
이 세 업데이트는 정확히 이 문제에 대응한다.
- cache-aware rate limits → 반복 컨텍스트의 처리량 문제 해결
- 단순화된 caching → 수동 관리 부담 제거
- token-efficient tool use → 툴 호출의 JSON 부풀림 감소
2026년 2월 Medium의 한 엔지니어 글이 이 문제를 드라마틱하게 요약한다. "10,000 토큰 시스템 프롬프트로 에이전트 50턴을 돌리면, 같은 지시를 50만 토큰어치 결제하게 된다." 이 낭비가 본격적으로 가시화된 시점의 대응이 바로 이 글이다.
2. "캐시 읽기가 rate limit에서 빠진다"의 파격
이 한 줄이 실무에서는 운영 비용 구조를 바꾸는 수준의 변화다.
기존에는 cache hit를 해도 ITPM(분당 입력 토큰)에 카운트됐다. 즉 캐시로 비용은 아끼되 처리량은 여전히 제한됐다. 많은 사용자가 동시에 같은 큰 지식베이스를 쓰는 서비스는 이 한도에 자주 부딪혔다.
이번 변경으로 cache read가 ITPM에서 빠진다. 실질적 의미:
- "컨텍스트는 크게, 요청은 많이" 가 가능해짐
- RAG 없이 모든 지식을 컨텍스트에 통째로 넣는 아키텍처가 현실적이 됨
- 문서 분석·코드 어시스턴트·고객지원 같은 컨텍스트 헤비한 서비스가 폭발적으로 스케일 가능
이 변경은 2년 후까지 이어졌다. 2026년 2월 Claude Opus 4.6의 1M 컨텍스트 GA + 표준 가격으로 이어지는 여정의 시작점이 여기다. "긴 컨텍스트를 쓰는 비용"을 계속 낮추는 방향의 장기 전략이다.
3. "자동 캐시 매칭"이 알려주는 것
과거 방식은 개발자가 cache_control 블록을 일일이 지정해야 했다. 프롬프트를 바꾸면 캐시가 깨지고, 어느 시점까지 캐시돼있는지 추적하는 것도 개발자 몫이었다.
이제는 가장 긴 일치 프리픽스를 Claude가 자동으로 찾는다. 이게 왜 중요한가?
- 초기 사용자 부담 대폭 감소 — 캐시를 정확히 이해하지 않아도 혜택을 받음
- 실수 여지 감소 — 캐시 경계 잘못 지정해서 cache miss 나는 상황이 줄어듦
- 기본값이 최적화에 가까워짐 — "아무것도 안 해도 캐시가 잘 작동"
이 패턴은 이후 Anthropic 전반의 철학으로 자리잡는다. Extended Thinking 자동 조절, Automatic Prompt Caching (2026년 2월), Automatic Context Compaction (2026년) 같은 기능들이 모두 "사용자가 신경 쓸 기본값을 최대한 시스템이 알아서" 방향이다.
4. "70% 감소, 평균 14%"의 정직함
Token-efficient tool use의 성능 수치가 흥미롭다 — 최대 70% 감소, 평균 14% 감소. 이건 굉장히 정직한 공개다. "최대치"와 "평균치"를 나란히 제시한다.
왜 편차가 이렇게 클까? Tool use의 토큰 소비는 워크로드에 따라 극명히 다르기 때문이다.
- 툴을 가끔 쓰는 워크플로 → 절감 여지가 크지 않음
- 툴을 한 턴에 여러 번 연쇄 호출 → 절감 폭 크게 증가
- JSON 출력이 큰 툴 → 최대 70%급 효과
Anthropic이 최대치만 강조하지 않고 평균을 같이 밝힌 건, 제품 홍보보다 엔지니어링 신뢰를 우선한 신호다. 2026년까지 이 경향은 꾸준하다 — "In internal testing, we saw X increase" 식의 수치를 Anthropic은 구체적으로 공개한다.
5. 2026년 이 기능들의 현재
이 글에서 소개된 세 업데이트가 2년 후에 어떻게 됐는지 보면:
- Token-efficient tool use (베타 헤더
token-efficient-tools-2025-02-19): Claude 4+ 모든 모델에 빌트인. 베타 헤더는 deprecated, 그냥 기본 동작임. - 자동 프롬프트 캐싱: 2026년 2월부터 시스템 프롬프트 자동 캐싱이 기본값. 개발자가 수동 설정할 필요 거의 없음.
- Cache-aware rate limits: 지금은 당연한 정책.
즉 2025년 2월에 베타로 출시된 기능들이 모두 2년 만에 기본 인프라가 됐다. 이게 Anthropic 제품 개발의 리듬을 보여주는 좋은 예시다 — 베타 → 검증 → 기본값. 당시 "beta header 추가해서 써보세요"가 2년 뒤 "아무것도 안 해도 됩니다"가 된다.
6. text_editor 도구가 열어둔 길
이 글 끝에 한 줄 섞인 text_editor 도구는 당시에는 조용히 지나갔지만 큰 의미가 있다. 특정 작업에 특화된 내장 도구(built-in tool) 를 Anthropic이 제공하기 시작한 시점이기 때문이다.
이후 내장 도구 목록이 확장된 궤적:
text_editor_20241022(2024년 10월)bash_20241022(2024년 10월)computer_20241022/20250124(Computer Use)code_execution_20250825(2025년 8월)web_search_20250305(2025년 3월)web_fetch,memory,tool_search_tool_regex_20251119(2025~2026)
2026년 현재 Claude Platform에는 10개 가까운 공식 내장 도구가 있다. 각 도구는 Claude가 해당 도메인(텍스트 편집, 셸 실행, 웹 검색, 코드 실행 등)에서 최적 토큰 효율로 동작하도록 튜닝돼 있다. 2025년 2월의 text_editor 공개가 그 흐름의 조용한 시작이었다.
마무리
"토큰 절약"이라는 제목은 소극적으로 들리지만, 이 글은 LLM 운영 비용을 구조적으로 바꾸는 세 가지 조정을 담고 있다. 그 중 둘(cache-aware rate limits, token-efficient tool use)은 2026년 현재 Anthropic API의 기본 특성이 됐다.
개별 기능보다 더 주목할 점은 "개발자가 신경 쓰지 않아도 자동으로 효율이 나오는 방향" 이다. 이 방향은 이후 2년간 Automatic Caching, Automatic Context Management, Tool Search Tool 같은 기능들로 이어진다. "사용자가 의식해야 할 것을 하나씩 시스템이 흡수"하는 Anthropic 특유의 설계 철학이, 이 2025년 2월 업데이트에서 명확히 보인다.
