최근, Claude, Gemini, Grok 등 LLM 모델의 성능이 비약적으로 향상되고,
Claude Code, Gemini CLI 등 기존 모델을 특정한 분야에서 더욱 실용적이게 사용하는 방안이
앞다투어 발표되면서 중요시 되는게 있다.
바로, LLM 모델을 단순히 사용하는걸 넘어 원하는 결과값을 도출하기 위한 방안인데
컨텍스트 엔지니어링 : Context Engineering은 이전의 프롬프트 엔지니어링에서 발전한 방식으로
LLM이 더 정확한 판단과 응답을 하도록 지원하는 방식이다.
컨텍스트 엔지니어링이란
컨텍스트 엔지니어링은 LLM이 주어진 작업을 더 정확하고 신뢰성있게 수행할수 있도록,
단순한 프롬프트 작성을 넘어 필요로 하는 모든 정보, 구조, 도구를 체계적으로 설계/관리/제공하는 시스템적 접근 방식을 의미한다.
Prompt Engineering이 "무엇을 물어볼 것인가" 에 초점을 두었다면,
Context Engineering은 "무엇을 어떤 맥락 속에서 어떻게 물어볼 것인가" 를 설계하는 것
이는 단순한 프롬프트 제공을 넘어 모델이 참고할 다양한 요소를 제공하는 방식으로
시스템 지침, 사용자 대화 기록, Long-Term Memory, RAG, Tools, Output Format 등을 의미한다.
직원에게 업무 지시만 내리는 것이 아니라,
관련 자료, 이전 업무 기록, 참고할 도구 들을 함께 제공하고 업무를 지시하는 것과 같다.
VS 프롬프트 엔지니어링
프롬프트 엔지니어링은 단순히 법률 전문가처럼 답변해줘 등의 간결한 지시와 같다.
이는 결과적으로 컨텍스트 엔지니어링의 하위 단계이며,
일회성 지시에 대한 중점을 둔 방법으로 점 단위의 미시적 접근과 같다.
반면에 컨텍스트 엔지니어링은 모델에 대해 AI가 처한 상황과 정보 환경 전체의 설계에 대한 정보를 제공하고,
선과 면 단위의 거시적이고 시스템적인 접근을 제공하는 것이다.
쉽게 말해, 프롬프트 엔지니어링이 '어떻게 질문할 것인가?'에 대한 고민이라면,
컨텍스트 엔지니어링은 'AI가 무엇을 보고, 알고, 사용할 수 있게 할 것인가?' 에 대한 고민이다.
구성요소
-
시스템 프롬프트/지침
: 모델의 행동을 정의하는 기본 지침 및 규칙, 예시 -
사용자와의 대화
: 사용자가 작성하는 프롬프트 -
상태/대화 히스토리
: 현재까지의 대화 흐름, 맥락 정보 -
장기 기억
: 이전 대화 내용을 통한 정보 요약, 모델이 장기적으로 기억하도록 학습된 정보 -
RAG
: 외부 문서, API 등을 통해 불러온 정보 -
사용 가능 도구
: 모델이 호출해 사용 가능한 함수 및 내장 툴 (MCP를 통해 추가 가능) -
구조화 된 출력
: 모델의 response가 갖춰야 될 응답 형식
중요성
컨텍스트 엔지니어링의 중요성은 기존 모델에 대한 파인튜닝에서 입력 설계로 초점이 전환함에 있다.
즉, 낮은 결과에 대한 이유를 모델에서 찾는 것에서 입력에서 찾는 것으로 변화했기 때문이다.
이를 통해 이뤄내는 결과로는
- Hallucination 감소를 통한 정확성 및 신뢰도 향상
- 복잡한 과업 수행 능력 강화
- 비용 절감 및 효율성 증대
- 개인화 및 맞춤화된 결과
등이 있으며,
결과적으로 AI를 단순한 질의응답 도구가 아닌, 특정 분야에 대한 전문성을 갖춘 동료로 사용할 수 있다.
사례
효과적인 컨텍스트 엔지니어링을 통한 생산성 향상 및 AI 활용도 향상 사례는 다음과 같다.
"내일 일정 확인해 줘"
라는 요청에Gemini가 계정과 연동된Google Calendar를 확인하고
내일 오전 11:00시에 A팀과 회의가 있습니다.라고 알려주는 건
컨텍스트 엔지니어링을 통해 좀 더 개인화되고 구체적인 답변을 받는 대표적인 사례이다.
최근 조사에 따르면, ChatGPT와 같은 AI를 감정의 반려자로 활용하는 사람이 점점 늘어나고
코딩이나 연구 목적으로 사용하는 비율보다 더욱 크다고 한다.
그렇다면, AI에게 자신의 직업, 평소 자신의 삶의 태도, 가족 상황, 취미, 좋아하는 서적 등을 외부 정보로 제공하고 대화를 시도한다면
보다 개인화되고 공감적인 태도의 답변을 이끌어 낼 수 있다.
NotebookLM
구글의 NotebookLM은 이러한 컨텍스트 엔지니어링을 체감할 수 있는 대표적인 플랫폼이다.
사용자가 직접 업로드한 문서나 자료를 기반으로 AI가 답변을 생성하며
자료가 더욱 구체적일수록 답변이 더욱 명확해지고 똑똑해진다.
고려사항
다만, 잘 설계되지 않은 컨텍스트 엔지니어링은 정보의 비대를 초래하고, 노이즈 및 Outlier를 추가할 수 있다.
이는 AI가 답변을 만들어 낼 때 불필요한 정보까지 파악하거나,
세부 사항에 집착하는 맥락 산만을 초래할 수 있다.
따라서 전달하는 맥락에 대해 판단하고, 원하는 결과를 도출할 수 있는 맥락을 구성하는게
AI를 사용하는 한 명의 컨텍스트 엔지니어로서의 주요한 역할이 될 것이다.
마치며...
결국 대부분의 사람보다 일정 수준 이상 똑똑한 LLM들을 효과적으로 사용하기 위해선
정교한 컨텍스트 엔지니어링이 필수이고,
단순히 대화만 주고 받으면서 "LLM 생각보다 안 똑똑한대?" 라고 하는건 오히려 자신의 무지를 드러내는 꼴이다.
당연히 더 정교한 맥락을 제공하고, 더 많은 툴을 제공하고,
Agent로 발전하는 AI에게 더 효과적인 명령을 내리려면
그 만큼 도메인에 대한 지식과 체계적인 목적 설계, 구조화된 출력 정의 등 시스템 설계 역량이 중요해진다.
이제는 정말로 AI가 사람의 과제를 완수하게끔 돕는 역할을 넘어
사람이 AI의 과제를 완수할 수 있게 돕는 시점이 오고있다.
[참고자료]
