🧠 LLM과 대화할 때 알아야 할 핵심 개념
“AI에게 말을 건다는 것은 단순한 요청이 아니라, 정보 구조를 설계하는 일이다.”
1. 프롬프트(Prompt)란 무엇인가?
프롬프트는 LLM과의 대화에서 입력 명령어 또는 지시문을 뜻합니다.
즉, 사용자가 모델에게 “무엇을 해달라”고 전달하는 텍스트 형태의 요청입니다.
📘 관련자료: Cursor 공식 블로그 - Prompt Design
🎯 프로그램 실행 인자와의 비교
프롬프트는 프로그램 실행 인자(command-line arguments)와 비슷한 개념입니다.
- 실행 인자:
program.exe --mode=fast --output=result.txt처럼 프로그램의 동작 방식을 지정합니다. - 프롬프트: “이 함수를 리팩토링해줘” 또는 “Python으로 파일을 읽는 코드 작성해줘”처럼 모델의 작업 지침을 제공합니다.
즉, 프롬프트 = 모델에게 주는 실행 인자 + 역할 정의 + 기대 결과입니다.
🔗 참고: OpenAI Prompt Guide
🎨 이미지 생성 모델의 태그식 프롬프트와의 연관성
과거 이미지 생성 모델(예: Stable Diffusion, Midjourney)에서는
“cute cat, high resolution, cinematic lighting” 같은 태그 기반 프롬프트를 사용했습니다.
이것은 “무엇을 그릴지 + 어떤 스타일로 표현할지”를 구체화한 것이며,
텍스트 LLM에서의 프롬프트 역시 “무엇을 할지 + 어떤 방식으로 응답할지”를 정의합니다.
📘 관련자료: Cursor Prompting Tips
2. 컨텍스트(Context)와 길이(Context Window)
📚 컨텍스트란?
컨텍스트는 모델이 이해하고 있는 모든 문맥 정보의 집합을 말합니다.
즉, 지금까지의 대화 내용, 파일 내용, 코드, 지시사항 등을 포함합니다.
예시:
사용자: “로그인 API 만들어줘.”
AI: “완성했습니다.”
사용자: “이제 로그아웃도 추가해줘.”
→ AI는 앞서 작성한 로그인 코드를 기억하고 이를 문맥으로 삼습니다.
📏 컨텍스트 윈도우(Context Window)와 토큰(Token)
LLM은 한 번에 처리할 수 있는 정보의 양에 제한이 있습니다. 이를 컨텍스트 윈도우(context window) 라고 하며,
모든 입력과 출력은 토큰(token) 단위로 계산됩니다.
| 모델 | 최대 컨텍스트 길이 | 설명 |
|---|---|---|
| GPT-3.5 | 약 16k tokens | 중간 길이 문서/코드 가능 |
| GPT-4 Turbo | 약 128k tokens | 장문 대화/문서 처리 가능 |
| Claude 3.5 | 약 200k tokens | 대규모 코드베이스 분석에 유리 |
🧮 토큰이 소모되는 방식
- 입력(프롬프트) + 출력(응답) 모두 토큰으로 계산됩니다.
- 예: “Python으로 Hello World 출력해줘.” → 약 8~12 토큰 사용
- 긴 대화에서는 이전 대화 내용 전체가 다시 입력되므로 컨텍스트가 누적될수록 비용 증가 및 길이 초과 위험이 커집니다.
⚠️ 길이를 초과할 때의 위험성
- 모델은 컨텍스트 한계를 초과하면 이전 정보 일부를 잊거나 잘라냅니다.
- 중요한 세부 지시가 손실되면 논리적 오류나 잘못된 답변이 생길 수 있습니다.
- 또한, 대화가 길어질수록 처리 시간이 길어지고 응답 품질이 떨어집니다.
✅ 회피 및 관리 방법
- 요약 기반 컨텍스트(Summarization): 이전 대화를 요약해 새로운 입력에 포함
- 세션 분리(Session Reset): 너무 긴 대화는 새로운 세션으로 나누기
- 필요 정보만 포함: 프로젝트 전체 대신 관련 코드/파일만 컨텍스트에 전달
- 메모리 시스템 사용: 대화 이력을 자동 저장해 일부만 불러오기
📘 관련자료: Managing Context in Cursor
3. 세션 기반 컨텍스트(Session-based Context)
세션 기반 컨텍스트는 한 세션(대화 흐름) 안에서 이전 대화 내용과 결과를 지속적으로 반영하는 문맥 관리 방식입니다.
⚙️ 작동 원리
- 사용자가 명령을 입력
- 모델이 해당 요청을 처리하고 결과를 반환
- 이후 요청 시 이전 결과나 대화 내용을 기억하고 반영
- 같은 세션 안에서는 문맥이 누적되어 더 일관성 있는 응답을 생성
🧩 세션 컨텍스트의 장점
- 대화의 흐름을 유지할 수 있음 (이전 명령 재설명 불필요)
- 프로젝트 단위 문맥 저장 가능 (예: “이 프로젝트에서는 React 19 기준으로 코드를 작성해”)
- 사용자 설정이나 규칙(“내 코드는 항상 ESLint 룰을 따름”)을 유지 가능
🔐 Cursor에서의 세션 컨텍스트 예시
- “Rules” 기능을 통해 특정 프로젝트의 코드 스타일, 프레임워크, 규칙 등을 저장해
새 세션에서도 같은 기준이 자동 적용됩니다. - “Model Context Protocol (MCP)”로 외부 데이터나 코드베이스를 연결하면,
세션 간 지속적인 문맥이 가능해집니다.
4. 핵심 요약
| 개념 | 설명 | 관련 자료 |
|---|---|---|
| 프롬프트 | LLM에게 주는 명령어, 프로그램 인자처럼 역할 지정 | Cursor Prompt Design |
| 컨텍스트 | 모델이 이해하는 문맥 정보 | Working with Context - Cursor Docs |
| 토큰 | LLM이 처리하는 최소 단위 | Medium - Tokens & Context Windows |
| 세션 기반 컨텍스트 | 대화 단위의 지속적 문맥 유지 | Cursor Context Rules |
LLM과의 대화에서 가장 중요한 것은 정보 구조화와 문맥 관리입니다.
프롬프트는 단순 요청이 아니라 모델을 위한 “작업 설계도”이고,
컨텍스트는 그 설계도를 해석하기 위한 기억 공간입니다.
💬 “AI는 당신이 제공한 정보의 구조만큼만 똑똑하다.”
명확한 프롬프트와 효율적인 컨텍스트 관리가 LLM 활용의 핵심입니다.
