프롬프트를 넘어선 '하네스 엔지니어링' 완벽 이해 및 적용 사례
최근 AI 업계, 특히 자율적으로 동작하는 'AI 에이전트(Autonomous AI Agent)' 생태계에서 가장 뜨거운 화두는 프롬프트 엔지니어링이 아닌 '하네스 엔지니어링'이다.
해시코프의 창업자 미첼 하시모토가 "LLM이 스스로 코드를 작성하고 문제를 해결하게 하려면, 프롬프트를 고칠 게 아니라 하네스를 엔지니어링해야 한다"고 언급하며 널리 알려진 이 개념이 정확히 무엇인지, 그리고 실제 플랫폼에서 어떻게 쓰이고 있는지 정리해 보았다.
1. 하네스 엔지니어링이란?
'하네스'는 본래 말을 제어하기 위한 마구나, 안전벨트를 의미한다. AI 소프트웨어 공학에서 하네스 엔지니어링이란, 통제하기 어렵고 확률적으로 동작하는 거대한 언어 모델(LLM)을 안전하고 결정론적으로 제어하기 위해, 모델을 둘러싼 외부 소프트웨어 껍데기와 실행 환경을 설계하는 작업을 뜻한다.
프롬프트 엔지니어링과의 차이:
- 프롬프트 엔지니어링: AI에게 "어떻게 말할 것인가?"를 고민하여 더 나은 텍스트 출력을 유도하는 것.
- 하네스 엔지니어링: AI가 출력한 결과를 시스템이 어떻게 파싱하고, 에러가 나면 어떻게 다시 AI에게 피드백을 주어 재시도하게 만들며, AI가 외부 도구(API, 터미널 등)를 어떻게 안전하게 호출하게 만들 것인가에 대한 '시스템 아키텍처'를 설계하는 것.
파싱 : 데이터를 컴퓨터가 이해하고 다루기 쉽게 '쪼개고 분석하는 작업', AI가 텍스트로 길게 뱉어낸 답변 속에서 시스템이 "여기서부터 여기까지는 파이썬 코드"라고 정확히 발라내서 추출하는 과정
2. AI 하네스의 핵심 구성 요소
LLM을 단순한 챗봇이 아닌 '일하는 에이전트'로 만들기 위해 하네스는 다음과 같은 요소들로 구성된다.
- 파싱 및 검증 루프 (Parsing & Validation Loop): AI가 생성한 결과물(예: JSON 데이터나 파이썬 코드)이 시스템 양식에 맞는지 검사한다. 형식이 틀렸거나 문법 오류가 있다면 시스템이 멈추지 않고, 에러 메시지를 통째로 다시 AI에게 던져주어 스스로 수정하게 만든다(Self-correction).
- 도구 호출 및 샌드박스 (Tool Use & Sandboxing): AI가 터미널 명령어를 실행하거나 파일을 수정할 수 있도록 권한을 주되, 시스템을 파괴하지 못하도록 철저히 격리된 환경(Docker 컨테이너 등)을 제공한다.
- 컨텍스트 주입 (Context Injection): AI가 작업을 수행하는 데 필요한 현재 프로젝트의 파일 트리, 시스템 상태, 이전 대화 기록 등을 백그라운드에서 끊임없이 정리하여 주입해 준다.
3. 실제 플랫폼에서의 하네스 엔지니어링 적용 사례
하네스 엔지니어링은 이미 최신 AI 플랫폼과 프레임워크의 뼈대로 작동하고 있다.
1) 자율 소프트웨어 엔지니어: Devin / SWE-agent
AI 소프트웨어 엔지니어인 Devin이나 오픈소스인 SWE-agent는 하네스 엔지니어링의 극치다.
- 어떻게 이용되는가? 이들은 단순히 코드를 짜주는 게 아니다. AI가 짠 코드를 하네스(격리된 리눅스 컨테이너) 내부에서 직접 컴파일하고 실행한다. 만약 에러 로그가 발생하면, 하네스가 이 로그를 긁어다가 다시 AI에게 "이런 에러가 났으니 수정해"라고 전달한다. 인간의 개입 없이 AI가 스스로 터미널을 조작하고 디버깅을 반복할 수 있게 하는 환경 자체가 완벽한 하네스다.
2) AI 코드 에디터: Cursor (Composer 기능)
개발자들이 사용하는 Cursor 에디터의 'Composer' 기능 역시 정교한 하네스를 가지고 있다.
-
어떻게 이용되는가? 사용자가 "A 기능을 추가해 줘"라고 하면, LLM은 텍스트만 뱉지만 Cursor의 하네스 시스템은 이 텍스트를 파싱하여 정확히 어느 파일의 몇 번째 줄을 수정해야 하는지 계산하고 Diff(변경 사항) 화면으로 렌더링한다. 또한 린터(Linter) 에러가 발생하면 백그라운드에서 이를 감지해 AI 모델에게 실시간 피드백을 제공한다.
-
린터 : 코드를 실행하기도 전에, 문법 실수나 코딩 규칙 위반을 미리 잡아주는 도구(Linter)가 띄우는 '경고문', 문서 작업할 때 워드나 한글 프로그램의 '맞춤법 검사기'가 띄어쓰기가 틀렸거나 오타가 났을 때 빨간 밑줄을 그어주는 것과 똑같은 역할
3) LLM 성능 평가 프레임워크: EleutherAI의 lm-evaluation-harness
AI 모델 자체의 성능을 검증할 때도 하네스가 쓰인다.
- 어떻게 이용되는가? 새로운 LLM이 나왔을 때, 이 모델이 수학, 코딩, 추론 테스트에서 몇 점을 받는지 공정하게 채점하기 위한 표준화된 시스템이다. 수만 개의 벤치마크 데이터를 모델에 주입하고, 모델의 응답을 정규화하여 점수를 매기는 자동화된 파이프라인 역할을 한다.
