Claude 블로그 되짚어보기 #8 — Haiku 파인튜닝, Anthropic이 가지 않은 길 (2024)
원문 정보
- 제목: Fine-tune Claude 3 Haiku in Amazon Bedrock
- 링크: claude.com/blog/fine-tune-claude-3-haiku
- 발행: 2024년 7월 10일 (이후 2024년 11월 1일 GA 업데이트)
- 카테고리: Product announcements
글의 요지
Claude 3 Haiku를 Amazon Bedrock에서 파인튜닝할 수 있는 기능이 프리뷰로 공개됐다. Bedrock은 당시 시점에 Claude 모델을 파인튜닝할 수 있는 유일한 완전관리형 서비스였다.
어떻게 동작하나
사용자가 고품질의 prompt-completion 쌍(예: "이 댓글을 검토해줘" → "이 댓글은 모욕적입니다")을 준비해서 업로드하면, 파인튜닝 API가 그 데이터로 사용자 전용 Claude 3 Haiku 사본을 훈련시킨다. 학습 후 Bedrock 콘솔이나 API에서 테스트 → 개선 → 배포 루프가 가능하다.
출시 스펙
- 지역: US West (Oregon) AWS Region 한 곳에서 프리뷰 시작
- 입력: 텍스트 기반 파인튜닝, 최대 32K 토큰 컨텍스트
- 향후 계획: 비전(이미지) 파인튜닝 추가 예정
내세운 네 가지 강점
- 더 빠르고 더 싸게: Haiku를 Sonnet/Opus 대신 쓸 수 있는 작업 범위가 넓어짐
- 브랜드에 정렬된 포맷 일관성: 규제 기준에 맞는 보고서, 표준 스키마 생성
- 쉬운 API: 심화된 AI 전문성 없이도 파인튜닝 가능
- 안전·보안: 학습 데이터는 고객 AWS 환경 밖으로 나가지 않음. Anthropic의 파인튜닝 기법이 Claude 3의 낮은 유해 출력 위험성을 보존함
자체 검증: 온라인 댓글 모더레이션
Anthropic이 직접 시연한 예시는 인터넷 포럼의 댓글 모더레이션이다. 모욕·위협·노골적 표현을 식별하는 태스크에 Haiku를 파인튜닝한 결과, 베이스 Haiku 대비 성능이 크게 향상됐다.
파트너 사례: Thomson Reuters
전문가 대상 정보·기술 기업 Thomson Reuters(법률, 세무, 회계, 컴플라이언스, 미디어 영역)가 자사 도메인 전문성을 Haiku에 반영하는 파인튜닝 채택 의사를 공식적으로 밝혔다.
"Claude로 이미 긍정적 결과를 보고 있고, 파인튜닝으로 더 정밀한 AI 보조가 가능해질 것" — Joel Hron, Head of AI and Labs, Thomson Reuters
2026년에 다시 읽으며 — 내가 본 것
1. 이 글의 발행 시점 자체가 Anthropic의 파인튜닝 태도를 말해준다
날짜를 보자. 2024년 7월 10일 프리뷰 시작, 2024년 11월 1일 정식 출시. 그리고 그 이후 지금까지(2026년 4월) Anthropic은 다른 Claude 모델의 파인튜닝을 공식 상품으로 출시하지 않았다.
Haiku만, Bedrock에서만, Oregon 한 리전에서만, 프리뷰로 시작해 4개월 뒤 GA. 그 뒤로는 조용하다. 이건 Anthropic이 파인튜닝을 "할 수 있지만 주력 무기로 삼지는 않겠다" 는 전략적 선택의 결과다. 그 배경에는 몇 가지 판단이 있어 보인다.
- 파인튜닝은 모델 버전이 바뀔 때마다 재학습이 필요하다. 빠른 모델 업그레이드 사이클과 궁합이 나쁘다
- 대부분의 커스터마이징 요구는 프롬프트 + RAG + Tool Use로 풀 수 있다
- Agent Skills / MCP / Sub-agent 같은 컴포저블 패턴이 더 유지보수 친화적
즉 Anthropic은 "모델 가중치를 바꾸는 방향"보다 "모델에 주입되는 컨텍스트를 설계하는 방향"을 선호해왔다. 이 글은 그 분기점에서 잠깐 반대 방향을 탐색해본 흔적처럼 읽힌다.
2. 왜 하필 Haiku였나
세 모델 중 Haiku를 골라 파인튜닝 기능을 연 건 상징적이다. 이유는 분명하다 — 파인튜닝의 경제학은 작은 모델에서 제일 명확하다.
- Haiku는 이미 빠르고 싸다 → 파인튜닝으로 특정 태스크에서 Sonnet/Opus를 능가하면 비용·지연 절감의 승수 효과가 크다
- Opus를 파인튜닝해도 여전히 Opus 가격이다 → 비용 이익이 작다
- 분류·구조화 출력·API 호출·특정 톤 같은 좁은 태스크에서는 작은 모델 + 파인튜닝이 큰 모델 + 제로샷을 이기는 경우가 많다
AWS가 별도 블로그에서 실제로 파인튜닝한 Haiku가 베이스 3.5 Sonnet을 9.9%p 앞섰다고 보고했다. 즉 "가장 작은 모델에 가장 큰 개선 여지"가 있는 것이다. 이건 2026년까지도 유효한 진실이고, Haiku 4.5 같은 이후 Haiku 세대의 포지셔닝에도 계속 반영된다.
3. "오직 Bedrock에서만" — 가중치를 누가 보관할 것인가
Anthropic이 파인튜닝을 자사 API가 아니라 Bedrock에서만 제공한 이유는 클라우드 파트너십을 강조한 것만이 아니다. 여기엔 중요한 가중치 보관(weight custody) 이슈가 있다.
파인튜닝된 모델은 고객 데이터가 반영된 고객 소유의 가중치 사본이다. 이걸 누가 호스팅하고 어떻게 격리할 것인가가 큰 문제다. Bedrock은 이미 고객별 AWS 계정 격리 + IAM + VPC + KMS 암호화라는 엔터프라이즈 인프라를 갖고 있었다. Anthropic이 처음부터 이걸 다시 구축하는 건 비경제적이다.
그래서 2024~2026년 내내 Anthropic 파인튜닝은 "Bedrock only"로 남았고, 2025년 말 Vertex AI, Microsoft Foundry 로도 Claude 배포 경로가 늘었지만 파인튜닝 자체는 여전히 Bedrock 중심이다. 이 글은 그 구도의 시작점이다.
4. Thomson Reuters 사례가 예고한 "Vertical AI"의 시대
Thomson Reuters의 인용문은 표면적으로는 평범하지만, 산업 맥락을 보면 흥미롭다. 법률·세무·회계 — 도메인 전문성이 강하게 요구되고 일반 Claude가 못 따라가는 영역이다. 이 회사들이 파인튜닝으로 해결하려 한 건 "우리의 전문 지식을 모델에 주입" 이었다.
2026년 현재 이 요구는 다른 방식으로도 풀린다 — Agent Skills의 도메인 스킬 패키지, Claude for Financial Services의 산업별 최적화, HIPAA-ready Enterprise plans. 즉 파인튜닝이 유일한 답이 아니라 한 가지 답이 된 셈이다.
그러나 분명한 건, 이 글이 버티컬 AI(산업별 AI) 라는 트렌드를 Anthropic이 공식적으로 인정한 첫 지점이라는 것이다. "일반 AI가 모든 산업에 충분하다"는 입장에서 "특정 산업은 커스터마이징이 필요하다"는 입장으로의 이동. 2026년의 "Building AI agents for financial services", "Building AI agents for healthcare" 같은 산업 특화 가이드들은 이 이동의 연장선에 있다.
5. "Anthropic의 파인튜닝 기법이 안전성을 보존한다"의 숨은 의미
본문에 쉽게 지나칠 수 있는 문장이 있다.
"Anthropic's fine-tuning technique preserves the Claude 3 model family's low risk of harmful outputs."
이게 왜 중요한가? 파인튜닝은 본질적으로 모델 정렬(alignment)을 망가뜨릴 위험이 있다. 연구자들은 일찍이 "몇십 개의 나쁜 예시만으로도 정렬된 모델을 jailbreak 상태로 되돌릴 수 있다"는 사실을 보였다.
Anthropic이 파인튜닝을 Bedrock에서만, 그것도 제한적으로 공개한 이유 하나가 여기 있다 — 고객이 실수로든 의도적으로든 Constitutional AI 정렬을 깨뜨리지 않도록 파인튜닝 파이프라인 자체를 통제해야 한다. 이 문장은 그 안전 설계가 내장돼 있음을 조용히 명시한다.
2026년 현재, Anthropic은 여전히 완전 공개형 파인튜닝(오픈소스 weight fine-tuning) 을 제공하지 않는다. 이유는 여전히 같다 — 안전 정렬을 보존하려면 훈련 과정 자체에 대한 통제가 필요하다.
6. "32K 컨텍스트" 제약이 남긴 흔적
출시 당시 파인튜닝은 최대 32K 토큰 컨텍스트만 지원했다. 당시 Claude 3 Haiku 본체가 이미 200K 컨텍스트를 지원했음을 생각하면, 이건 상당한 제약이었다.
왜 32K였을까? 파인튜닝은 훈련 과정에서 훨씬 큰 메모리를 쓴다. 200K 토큰으로 학습하려면 현실적으로 엄청난 GPU 자원이 필요하다. 프리뷰 단계에서는 경제성을 고려해 32K로 제한한 것이다.
2026년 현재 이 제약이 어떻게 진화했는지는 공개돼 있지 않다(파인튜닝 기능 자체가 확장되지 않았으므로). 대신 Claude 본체의 컨텍스트는 1M 토큰으로 확장됐고, Agent Skills는 수백 KB의 스킬 정의를 동적으로 로드할 수 있다. 즉 Anthropic은 "파인튜닝의 컨텍스트를 넓히는 길" 대신 "런타임 컨텍스트 주입을 더 유연하게 하는 길"을 택했다.
마무리
이 글은 Anthropic의 제품 역사에서 가지 않은 길을 들여다보는 창이다. 파인튜닝은 분명히 가능했고, 출시됐고, Thomson Reuters 같은 대형 파트너의 관심을 받았다. 그런데 2년이 지나도 확장되지 않았다.
그 침묵 자체가 메시지다 — Anthropic은 모델 커스터마이징의 해법을 가중치가 아니라 컨텍스트에서 찾는 방향을 명확히 선택했고, 그 선택은 Skills, MCP, Sub-agent, Cowork 같은 2025~2026년의 주력 제품군에 일관되게 반영돼 있다.
파인튜닝을 해보고 나서 그 경험이 가르쳐준 것을 다른 형태로 구현한 회사 — 이게 Haiku 파인튜닝 출시 2년 후의 Anthropic이다. 지금 이 글을 다시 읽는 의미는 그 분기점을 명확히 볼 수 있다는 데 있다.
