🧠 Bedrock으로 사내 사양서를 지식 기반 AI로 만들기: 두 번째 이야기

두 번째 이야기: 콘텐츠 블록, 청크, 그리고 구조화된 설계

✍️ 이전 이야기 요약

첫 번째 이야기에서는 AWS Bedrock과 Confluence 문서를 활용해 사내 사양서를 기반으로 한 AI 응답 시스템을 만들기 위한 시도들을 정리했습니다.
HTML을 텍스트로 전환해 S3에 업로드하고 Bedrock Knowledge Base(KB)로 연동해봤지만, AI의 답변은 너무 모호하고 일반적인 수준에 머물렀습니다.

🧪 실험 2: 콘텐츠 블록만 추출하기

이번에는 문서 전체가 아닌 의미 있는 콘텐츠 블록만 추출하여 지식으로 등록해 보았습니다.

결과는 대답의 정확도 향상이라는 긍정적인 변화를 가져왔습니다.

• 불필요한 이미지, 테이블, 링크가 제거된 덕분에 핵심 내용에 더 집중한 답변이 가능했습니다.
• 특히 콘텐츠 사양, 조건 분기 설명 등 정확한 문맥이 요구되는 질문에서 효과가 컸습니다.

⚙️ 실험 3: 소스 청크(Source Chunk) 조정

그러나 Confluence 문서들이 다양한 페이지로 파편화되어 있다 보니, 질문에 따라 여러 문서를 참조해야 하는 상황이 자주 발생했습니다.
이를 해결하기 위해 한 번에 가져오는 소스 청크 크기를 높여 테스트해 보았습니다.

✅ 소스 청크란?
하나의 질문에 대해 참조되는 문서 블록 수를 의미합니다. 높일수록 많은 문서에서 정보를 가져오게 됩니다.

💡 관찰 결과

• 🔺 정확도 향상: 관련된 여러 문서를 조합하여 더 풍부한 답변 생성 가능
• 🔻 속도 저하: 청크 수가 많아지면 처리 속도가 크게 느려짐

🔁 트레이드오프: 정확도 향상이 목적이라면 청크 증가는 괜찮지만, 실서비스라면 속도 개선은 필수 과제

💬 실험 4: 프롬프트 개선

답변 품질은 단순히 KB 데이터만으로 결정되지 않았습니다.
프롬프트 구성도 매우 중요한 변수였으며, 구조화된 시스템 응답을 위해 다음과 같은 형태로 개선하였습니다

사용된 프롬프트 예시

You are a helpful and factual assistant tasked with analyzing user questions using internal documentation.
You will be given:
- A **user question**
- A list of **search results** retrieved from OpenSearch, each containing content and metadata such as title, page ID, version, and a Confluence URL.
---
:magnifying_glass: **Instructions**:
1. Read and interpret the user’s question carefully.
2. Use **only the provided search results** to extract and synthesize relevant information.
3. If the question implies an issue or claim, validate it strictly based on the documents.
4. Respond in clear **Markdown format**, with a short summary paragraph and optional bullet points.
5. Provide a concise, structured answer that groups key insights thematically, avoiding unnecessary numbering.
6. Always list all **referenced Confluence documents** at the end, using `title` and exact `confluence_url` from metadata.
7. Do not fabricate or alter links. Use them exactly as provided.
8. If no relevant information is found, respond with:
   ❝Sorry, I could not find an exact answer to your question based on the available information.❞
---
:books: **Search Results**:
$search_results$
---
:speech_bubble: **User Question**:
$input$
---
:outbox_tray: **Output Format**:
Respond in Markdown using this structure:
```markdown
[Summary of key findings and observations.]
- [Optional supporting point 1, if needed]
- [Optional supporting point 2, if needed]
- ...
### :link: Referenced Confluence Documents

이러한 명시적 가이드라인은 다음과 같은 효과를 주었습니다:

• 📌 답변 일관성 향상
  각 답변이 요약 → 근거 목록 → 문서 출처로 이어지는 통일된 구조를 가짐
• 🔍 출처 명확성 확보
  실제 문서 제목과 URL을 그대로 사용해 신뢰도 향상
• 📉 할루시네이션 감소
  KB 외 문서를 참조하지 않도록 유도함으로써 사내 정보에 기반한 답변만 생성

⛔ 잠시 멈춘 이유

개인적인 팀 이동 이슈로 인해, 해당 프로젝트를 지속적으로 개발하지는 못했습니다. 하지만 당시 설계한 시스템 구조는 현재도 유효한 형태라고 생각하며 공유합니다.

🧭 시스템 설계 구조 (Mermaid)

###📝 마무리

이번 실험에서는 데이터 품질(콘텐츠 블록), 시스템 설정(청크), 질의 방식(프롬프트)의 세 축을 조정하며 Bedrock 기반의 사내 지식 응답 시스템의 가능성과 과제를 확인했습니다.

무엇보다도, 문서의 정제와 질의 흐름만 잘 설계해도 팀원들이 매번 문서를 뒤적이지 않고 Slack에서 바로 정확한 답을 얻을 수 있다는 점에서 업무 효율성을 획기적으로 높일 수 있는 가능성이 충분히 보였습니다.

다만, 개인적인 사정으로 개발을 더 이어가지 못한 점은 크게 아쉬움으로 남습니다. 실제 운영 서비스로 연결되었더라면, 팀 전체의 사양 전달/문의 구조 자체를 바꿔낼 수 있는 좋은 사례가 되었을 것이라 생각합니다.