클로드를 만든 여러분도 잘 알고있을 Anthropic은 최근 파트너 네트워크를 공격적으로 구축하며, 파트너사들을 대상으로 많은 교육 프로그램을 운영하고 있다.

우리 회사도 2~3월부터 이 파트너 네트워크에 들어왔고, 덕분에 나도 엔터프라이즈 플랜으로 토큰 걱정없이 클로드 코드를 매일 빵빵 쓰던 도중, 미국 샌프란시스코에서 진행하는 파트너사 대상 워크샵에 참여할 사람을 모집한다는 내부 공고를 보게 되었다.

우리 회사 전세계 인원중 20명정도를 모집하고, 그중에서도 일본에서는 10명정도만을 모집한다는 내용이었고, 글로벌 직원이 70만명에 일본 직원이 3만명이니 이런 귀중한 기회는 놓치면 안된다고 생각해서 곧바로 신청했고, 결국 이 10명중 한명으로 선정되는 영광을 얻게 되었다. 회사 돈으로 미국도 가고, Anthropic이 직접 주최하는 트레이닝에도 참여가 가능하다니, 이런 기회가 또 어디에 있겠는가..!

이번 포스팅에선, 간단하게 5/19~5/20일간 진행된 워크샵에서 배워온 내용들을 간단하게 정리해보려 한다.

워크샵의 분위기

이번 워크샵은 샌프란시스코 Ferry Building에 위치한 Shack15이라는 행사장에서 진행되었으며, 우리 회사인 액센츄어에서 20명정도를 포함해 딜로이트, pwc등 컨설팅 기업들 위주로 약 100명정도의 참여자로 이루어졌다. 대부분 미국에서 일하고 있던 참여자들이었으며, 일본에서부터 10시간정도를 날아왔다고 말하자 대부분의 참여자분들이 눈을 동그랗게 뜨며 우리를 귀여워(?) 해주시고 이것저것 많이 챙겨주셨다. 다시 한번 너무 감사드린다 ㅎㅎ

이틀동안 Hands-on 과제 위주로 진행되었으며, 이를 통해 Anthropic이 생각하는 현재 LLM 모델의 능력과 한계, 그리고 최적의 활용 방법에 대해 배울 수 있게 되었다.

무엇을 배웠는가?

"Application is the bottleneck"

워크샵 내내 나온 Anthropic의 현재 AI 활용에 대한 관점이었고, 이 관점을 기반으로 모든 강의가 진행되었다.

요는, 현재 AI 모델은 대부분의 "AI가 이것을 할 수 있을까?"라는 질문에 대해서는 "Yes"라고 답할 수 있을 정도로 발전했으며, 이제 남은 문제는 이 모델을 활용해서 무엇을 할 수 있느냐라는 것이다.

모두가 API딸깍만으로 같은 성능의 모델을 사용할 수 있게 되었으니, Anthropic이 혼자서 세계정복을 하는것이 아니라, 파트너사가 필요한 이유라기도 한다. 우리 회사같은곳들이 이 모델을 더욱 더 잘 이해하고 활용해서, 모델의 성능을 100% 끌어내서 좋은 어플리케이션을 만들어내는것이 Anthropic이 바라고 있는 그림이라는것.

현 LLM 모델들의 성능이 뛰어나다는것은 개인적으로도 LLM 활용 어플리케이션들을 개발하며 충분히 알고 있었지만, 모델을 직접 만든 회사로부터 이 관점을 듣는것은 개인적으로 상당히 흥미로웠다.

문제는 모델이 아니라 아키텍처다

이상하게 동작하는 에이전트의 코드를 받아서 디버깅을 해보는 과제가 있었다. 제대로 작동하지 않는 이유는 명확했는데, tool의 description이 너무 대충 적혀있어서 모델이 tool calling을 적절히 하지 못하고 있던가, 여러개의 특화 서브에이전트를 구현해놓았지만 코디네이터가 항상 서브에이전트를 1개만 호출하게 구현이 되어있어서 제대로 처리가 되지 않다던가.

교훈은 명확하다. 문제는 모델의 능력 부족이 아니라, 툴 설계·아키텍처·하네스 구조에 있다. 아무리 뛰어난 모델을 가져와도 이걸 받쳐주는 설계가 부실하면 결과물은 없느니만 못해진다. "Application is the bottleneck"이라는 관점이 가장 피부에 와닿았던 순간이었다.

Agent-as-Advisor: 작은 모델이 일하고, 막히면 큰 모델이 코칭한다

LLM 어플리케이션을 만들다 보면 항상 부딪히는 트레이드오프가 있다. 작은 모델(Sonnet, Haiku)은 빠르고 싸지만 어려운 케이스에서 막히고, 큰 모델(Opus)은 똑똑하지만 비싸고 느리다. 모든 호출을 Opus로 돌리자니 비용이 감당이 안 되고, 모든 호출을 Sonnet으로 돌리자니 품질이 아쉽다. 해결을 위해 워크샵에서 소개된 해법 중 하나가 Agent-as-Advisor 패턴이었다. 구조는 단순하다.

• 실제 작업은 작은 모델(Sonnet)이 실행한다
• 작은 모델이 막히거나 확신이 없을 때만 큰 모델(Opus)을 어드바이저로 호출한다
• Opus는 직접 작업을 하지 않고, 400~700 토큰 정도의 짧은 코칭만 돌려준다
• 전체 호출 중 Opus가 개입하는 비율은 5~10% 정도

이렇게 하면 비용은 거의 Sonnet 수준으로 유지되면서 품질은 Opus에 근접하게 끌어올릴 수 있다. 회사로 돌아가서도 써먹어볼만 한 패턴이라 인상 깊었다.

핵심은 "어떤 모델을 쓸까"가 아니라 "언제 어떤 모델을 쓸까"를 설계하는 것이다. 이것도 결국 아키텍처 이야기다.

Context Engineering — 프롬프트 엔지니어링 다음 단계

"프롬프트 엔지니어링"이라는 단어는 이제 모두가 안다. 그런데 워크샵에서는 그다음 단계로 Context Engineering이라는 용어를 자주 꺼냈다.

차이는 이렇다. 프롬프트 엔지니어링이 "개별 프롬프트를 어떻게 잘 쓸 것인가"의 문제라면, Context Engineering은 "에이전트가 참조하는 문서·툴·메모리 파일 전체를 어떻게 관리할 것인가"의 문제다. 에이전트가 길게 동작할수록 컨텍스트 윈도우는 쓰레기로 가득 차고, 모델의 성능은 떨어진다.

특히 인상 깊었던 건 Distractor 문제였다. 어떤 연구에서 컨텍스트에 "거의 맞지만 살짝 부정확한 정보"를 섞어 넣었더니, 최고 성능 모델조차 오답률이 올라갔다고 한다. 컨텍스트가 길어질수록, 그리고 distractor가 많아질수록 성능 저하는 더 심해진다. 즉 "정보를 많이 주면 줄수록 좋다"는 직관은 틀렸다.
이 문제를 풀기 위해 소개된 3가지 관리법이 있다.

• Clear: 한 번 사용한 후 더 이상 필요 없는 정보(예: 툴 호출 결과)는 컨텍스트에서 제거한다
• Compaction: 긴 대화 히스토리를 요약본으로 압축한다 (/compact 커맨드)
• Memory: 중요한 학습이나 성공 패턴은 메모리 파일에 저장해서 세션을 넘어 재사용한다. 특히 CLAUDE.md 파일은 모든 세션과 에이전트에 영향을 주는 "최고 레버리지 포인트"라고 강조되었다

여담으로, Claude 모델은 다른 모델 대비 "모르면 모른다"고 답하는 경향(Calibration)이 높다고 한다. 금융이나 의료처럼 환각이 치명적인 도메인에서는 이 특성이 큰 강점이 된다는 설명이었다. 컨설팅 현장에서 규제산업 클라이언트를 다뤄본 입장에선, 모델 선택의 셀링포인트로 충분히 써먹을 수 있는 관점이었다.

AI가 어려운건 우리뿐만이 아니다!

워크샵 외적으로도, 참여자 분들과 이야기를 나누며 느낀 점도 있다. 제목처럼, 우리뿐만 아니라, 연차가 몇십년 되시는 분들도 아직 AI를 많이 어려워하고 있다는 것이다!

나와 비슷한 주니어, 20년 차 컨설턴트, 10년 차 엔지니어 등 다양한 분들과 이야기를 나누었는데, 다들 약속이라도 한 듯 처음 꺼내는 말은 "솔직히 나도 아직 뭘 공부해야 하고, 뭘 어떻게 활용해야 할지 많이 어렵다"였다. 20년 차 컨설턴트 한 분에게, 고연차 컨설턴트로써 어떻게 AI를 활용하고 계신지 여쭤보자, '나는 그냥 매일 클로드한테 멍청한 질문들을 던지면서 배우는 중'이라고 웃으면서 말하시는 분도 계셨다.

묘하게 안심이 되면서도, 동시에 압박감이 드는 대화들이었다. 이 분야는 연차가 절대적 우위가 되지 않는다. 결국 누가 더 빨리, 더 자주 손에 묻혀가며 배우느냐의 게임이라는 것이 크게 느껴졌다. Anthropic이 파트너사를 모아 이런 워크샵을 여는 이유도 결국 같은 맥락이지 않을까 싶었다. 모델을 만든 사람들도, 컨설팅 20년 차도, 다 같이 더듬어가며 길을 찾고 있는 단계라는 것.

마무리

워크샵의 내용이 유익했던 것 외에도, 인생 첫 출장이자 첫 아시아 탈출이었기에 너무나도 좋은 경험이 되었다. 금문교도 가보고, 인앤아웃 버거도 먹어보고, 시차 때문에 처음으로 고생도 해보고... 워크샵이 끝나고 나선 Caltrain을 타고 남부 실리콘밸리쪽으로 내려가, 그곳에서 활약하고 있는 고등학교 친구들도 7~8년 만에 만날 수 있었다. 일과 사람이 동시에 채워진, 너무나도 즐거운 시간이었다.

돌아오는 길에 가장 많이 곱씹은 문장은 결국 "Application is the bottleneck" 이었다. 모델은 이미 충분히 똑똑하니, 이제 남은 건 그걸 어떻게 써먹느냐의 게임이라는 것. 회사로 돌아와서도 이 관점을 기준 삼아, 우리가 만들고 있는 것들을 한 번 더 들여다볼 생각이다. velog에서 반응이 매우 좋았던 지난번 글 (링크)의 2편도, 이번에 배운 내용을 기반으로 다시 써보고싶다는 생각도 든다

마지막으로, 주니어 컨설턴트 나부랭이에게 출장비까지 전부 내주고 이런 좋은 기회를 제공해 준 회사에 다시 한번 너무 감사드린다. 받은 만큼 잘 써먹어서 돌려드릴 수 있도록 해야겠다. m(_ _)m