🧠 Bedrock으로 사내 사양서를 지식 기반 AI로 만들기: 시행착오의 기록

사내에 축적된 수많은 사양서, 정책 문서, 기획 자료들…
이런 문서들을 바탕으로 조직 구성원이 질문하면 AI가 적절한 답변을 해주는 시스템을 만들 수 있다면,
반복되는 커뮤니케이션을 줄이고 생산성을 높이는 데 큰 도움이 될 것입니다.

이 목표를 실현하기 위해 사용한 도구는 바로 Amazon Bedrock입니다.
Bedrock은 AWS에서 제공하는 생성형 AI 서비스를 위한 플랫폼으로, 다양한 파운데이션 모델(FM)을 통합적으로 제공하며,
지식 기반(QnA), 에이전트, 챗봇, 검색 강화 생성(RAG) 등 다양한 형태의 AI 응용을 빠르게 구현할 수 있는 기능들을 갖추고 있습니다.

특히 Bedrock Knowledge Base는 외부 문서(S3 등)에 저장된 데이터를 임베딩하고 벡터 검색 기반으로 질의응답을 수행하는 기능을 제공합니다.
이 프로젝트는 바로 이 기능을 활용하여, Confluence 기반의 사내 문서를 AI가 응답할 수 있도록 만드는 것이 핵심입니다.

문서를 넣으면 AI가 똑똑해질까?

이 질문에 대한 답을 찾기 위한 시행착오의 여정을 아래에 공유합니다. (※ 현재도 개선 중입니다)

---

📘 Confluence란?

이 프로젝트의 핵심 데이터 소스는 사내에서 사용 중인 Confluence(컨플루언스) 입니다.

Confluence는 Atlassian에서 제공하는 협업용 문서 위키 플랫폼으로,
기획서, 정책서, 회의록, API 명세 등 다양한 문서를 계층 구조로 정리하고 팀 간에 공유할 수 있습니다.
문서마다 표, 이미지, 코드 블록, 첨부파일 등 다양한 콘텐츠가 섞여 있어, AI를 위한 사전 정제가 필수입니다.

---

🔍 1. 첫 번째 시도: Bedrock Knowledge Base + Confluence Preview

Bedrock Knowledge Base에서는 Confluence 연동 프리뷰 기능을 제공합니다.
이를 통해 손쉽게 특정 Confluence 공간을 Knowledge Base에 연결할 수 있었지만, 실제 적용 과정은 예상보다 복잡했습니다.

• 첨부된 PDF, Excel 등 다양한 파일 형식이 인덱싱 오류를 유발
• AWS 콘솔에서는 오류 원인을 명확히 확인할 수 없어 디버깅이 어려움
• 일부 문서는 누락되거나 정상적으로 처리되지 않음

결과적으로 제어 불가능한 입력과 불투명한 에러 처리가 주요 걸림돌로 작용했습니다.

---

🐍 2. 두 번째 시도: Python + Confluence API → HTML → 텍스트(.txt) → S3

문서 처리의 주도권을 높이기 위해, Confluence Cloud API를 사용하여 각 페이지의 HTML을 수집하고,
이를 텍스트 파일로 정제해 S3에 업로드하는 방식을 시도했습니다.

• 불필요한 태그와 스타일 제거 후 .txt 형태로 정제
• Bedrock Knowledge Base에 연결하여 자연어 질문에 응답 테스트

문서 범위와 형식을 직접 관리할 수 있다는 점에서 만족스러웠지만, 문제는 응답 품질이었습니다.

• AI의 답변이 지나치게 일반적이고 애매모호한 표현이 많음
• “그럴 수도 있습니다”, “보통은 그렇습니다” 식의 두루뭉술한 응답
• 프롬프트와 청킹 전략을 다양하게 수정해도 큰 개선이 없음

텍스트만 추출한 정보로는 AI가 제대로 된 문맥 이해를 하기 어렵다는 것을 느꼈습니다.

---

🔄 3. 세 번째 시도 (현재 진행 중): HTML 구조 유지 + 의미 단락 정제

이전 시도에서 얻은 인사이트는 명확했습니다.

“문서를 단순 텍스트로 바꾸는 것보다, 의미 단락을 보존하는 방식이 필요하다.”

그래서 지금은 다음과 같은 방식으로 접근하고 있습니다:

• HTML 구조는 유지한 채, p, h1~h4, table, code 등 의미 있는 콘텐츠 블록만 추출
• 시각적 구조나 문맥 흐름이 살아있는 형태로 정제
• 노이즈가 되는 UI 요소, 내비게이션, 중복된 푸터 영역 등은 제거

이 방식은 현재도 실험 중이며, AI의 응답 품질이 얼마나 향상되는지 지속적으로 점검하고 있습니다.

---

🧭 지금까지의 교훈

• AI에게 줄 문서는 단순한 텍스트가 아니라, 맥락과 구조가 살아있는 지식이어야 한다.
• 사내 문서는 작성자별 포맷 차이도 크기 때문에, 정제 규칙을 유연하게 가져갈 필요가 있다.
• 자동화보다 중요한 건, 지식으로 전환될 수 있는 정보의 선별이다.

---

✍️ 다음 글 예고

• 📁 Confluence HTML에서 의미 단락 추출을 위한 구조 분석과 필터링 기준
• 🧩 임베딩 최적화를 위한 단락 길이, 필드 분리, 콘텐츠 유형별 처리 전략
• 💬 프롬프트 설계와 청킹 전략 실험 기록

---

이 프로젝트는 여전히 개선 중입니다.
시간이 더 걸리더라도 “AI가 실제로 내부 문서를 잘 이해하고 답할 수 있는 상태”를 목표로 꾸준히 다듬어가고 있습니다.