👆audit_rag_MultiQuery

MultiQuery 기능 추가 및 Prompt Template 수정 → recall 강화

1. 플로우 전체 구조 개요

[1] Chat Input
        ↓  (사용자 질문 전달)
[2] MultiQuery Search (Custom Component)
        ↓  (DataFrame 반환)
[3] Parser (DataFrame → 문자열 context)
        ↓
[4] Prompt Template (context + question)
        ↓
[5] OpenAI (LLM)
        ↓
[6] Chat Output

2. 각 컴포넌트별 상세 설명

(1) Chat Input

사용자가 질문을 입력하는 시작점

• MultiQuery Search의 user_question 입력 포트에 연결됨
• MultiQuery Search가 질문을 받지 못하면 바로 오류 발생

(2) MultiQuery Search (Custom Component)

• 역할

  • 사용자 질문을 여러 의미 방향으로 확장 (MultiQuery)
  • 각 쿼리를 OpenAI 임베딩 모델로 벡터화
  • Qdrant에서 쿼리별 Top-K 검색 실행
  • 모든 검색 결과를 하나의 DataFrame 형태로 통합

• 입력값

  Input	설명
  collection_name	Qdrant 저장소 이름
  openai_api_key	embedding용
  qdrant_url	Qdrant 서버 URL
  user_question	ChatInput에서 전달받은 질문
  n_queries	생성할 서브쿼리 개수
  top_k	각 쿼리당 검색할 문서 개수

• 출력값

  • search_results: DataFrame
  • 여러 쿼리에서 나온 문서들이 하나의 통합 테이블로 출력
    ex ) | query | score | content | metadata | ... |

• code

  from langflow.custom import Component
  from langflow.io import StrInput,SecretStrInput,MessageTextInput,IntInput,Output
  from langflow.schema import DataFrame
  from langflow.schema.message import Message
  
  from qdrant_client import QdrantClient
  from openai import OpenAI
  
  class MultiQuerySearch(Component):
      display_name = "MultiQuery Search"
      description = "멀티 쿼리를 생성하고 Qdrant에서 검색 후 DataFrame 형식으로 결과를 반환합니다."
      icon = "search"
      name = "MultiQuerySearch"
  
      inputs = [StrInput(name="collection_name", display_name="Collection Name", required=True),
                SecretStrInput(name="openai_api_key", display_name="OpenAI API Key", required=True),
                SecretStrInput(name="qdrant_api_key", display_name="Qdrant API Key", required=False, advanced=True),
                StrInput(name="qdrant_url", display_name="Qdrant URL", required=True),
                MessageTextInput(name="user_question", display_name="User Question", required=False),
                IntInput(name="n_queries", display_name="Number of sub-queries", value=4, required=True),
                IntInput(name="top_k", display_name="Top-K per query", value=4, required=True),]
  
      outputs = [Output(name="search_results", display_name="Search Results", method="run_search"),]
  
      def _get_openai_client(self) -> OpenAI:
          if not hasattr(self, "_openai_client"):
              self._openai_client = OpenAI(api_key=self.openai_api_key)
          return self._openai_client
  
      def _get_qdrant_client(self) -> QdrantClient:
          if not hasattr(self, "_qdrant_client"):
              self._qdrant_client = QdrantClient(url=self.qdrant_url,api_key=self.qdrant_api_key or None)
          return self._qdrant_client
  
      def _expand_queries(self, question: str) -> list[str]:
          base = question.strip()
          variations = [base,
                        base + " 관련 감사 사례",
                        base + " 유사 회계 처리 사례",
                        base + " 제재·처분 수위 사례",]
          return variations[: max(1, self.n_queries)]
  
      def _embed_text(self, text: str) -> list[float]:
          client = self._get_openai_client()
          resp = client.embeddings.create(model="text-embedding-3-small", input=text,)
          return resp.data[0].embedding
  
      # run_search 전체
      def run_search(self) -> DataFrame:
          uq = self.user_question
  
          # --- Message 타입 처리 ---
          if isinstance(uq, Message):
              question = (uq.text or "").strip()
          else:
              question = (uq or "").strip()
  
          # --- LangFlow 초기 빌드에서는 user_question이 None ---
          if not question:
              self.status = "대기 중: 사용자 질문이 아직 입력되지 않았습니다."
              return DataFrame([])
  
          qdrant = self._get_qdrant_client()
          queries = self._expand_queries(question)
  
          rows: list[dict] = []
  
          for q in queries:
              vec = self._embed_text(q)
  
              hits = qdrant.search(collection_name=self.collection_name, query_vector=vec, limit=self.top_k,
                                   with_payload=True, with_vectors=False,)
  
              for h in hits:
                  payload = h.payload or {}
  
                  # content 키 자동 탐지
                  content = (payload.get("content") or payload.get("page_content") or payload.get("text") or "")
  
                  # metadata 자동 탐지
                  metadata = (payload.get("metadata") or payload.get("meta") or {})
  
                  row = {"query": q, "score": h.score, "content": content, "metadata": metadata,}
  
                  # payload의 모든 필드도 추가
                  for k, v in payload.items():
                      if k not in row:
                          row[k] = v
  
                  rows.append(row)
  
          df = DataFrame(rows)
          self.status = f"{len(queries)}개 쿼리로 {len(rows)}개 결과를 가져왔습니다."
          return df

(3) Parser

DataFrame → 텍스트로 변환 : 문서 청크들을 하나의 긴 문맥으로 재조립하는 단계

• MultiQuery Search는 DataFrame을 출력함 → LLM이 그대로 읽을 수 없음
  • DataFrame의 각 row를 string으로 정리
  • LLM이 이해 가능한 “context block”으로 가공
  • {context} 자리에 들어갈 문자열 생성

(4) Prompt Template

LLM이 답변할 때 사용할 최종 프롬프트 구성기

• 입력 요소

  • context (Parser에서 전달)
  • question (ChatInput 질문 다시 전달)

• 템플릿의 목적

  • 검색된 문서를 근거로 답변하도록 강제
  • 유사사례 포함
  • 허위 정보 금지
  • 감사·회계 분야에 특화된 역할 부여

  당신은 회계·감사 분야에 정통한 감사 전문가입니다.
  아래는 Multi-Query 기반으로 Qdrant에서 검색된 감사·회계 관련 문서들이며,
  실제 사례·지적사항·판례·감사지침 등으로 구성되어 있습니다.
  
  이 문서들을 근거로 사용자의 질문에 대해 정확하고 사실 기반의 분석을 수행하세요.
  
  ────────────────────
  [사용자 질문]
  {question}
  
  [검색된 문맥]
  {retrieved_docs}
  ────────────────────
  
  아래 규칙에 따라 답변을 작성하십시오:
  
  1) **문맥 기반 사실 설명**
  - 반드시 제공된 문맥(retrieved_docs)에 근거하여 설명한다.
  - 문맥에 없는 내용, 추측, 허위 정보는 절대 추가하지 않는다.
  
  2) **핵심 답변 제시**
  - 질문에 대한 결론을 먼저 제시한다.
  - 결론의 근거가 되는 문맥 속 문장·구절을 요약 또는 직접 인용한다.
  
  3) **유사사례 제시**
  - 제공된 문맥(retrieved_docs) 중에서 사용자 질문과 유사하거나 논리적으로 연결되는 사례를 찾아 요약해 제시한다.
  - 유사사례는 “문맥 속 실제 존재하는 사례”만 사용하며, 문맥에 없는 사건·규정·판례 등은 임의로 만들어내지 않는다.
  
  4) **규정/기준 언급**
  - 문맥에 특정 회계기준(K-IFRS), 감사지침, 법령, 규정이 존재하는 경우에만 정확히 인용하여 설명한다.
  - 존재하지 않는 규정명·판례명은 생성하지 않는다.
  
  5) **정보 부족 시 처리**
  - 문맥만으로 판단이 어려운 경우엔 “제공된 문맥만으로는 판단하기 어렵습니다.”라고 명시한다.
  
  6) **작성 방식**
  - 전문적인 감사·회계 용어 사용 가능.
  - 결론 → 근거 → 유사사례 → 추가 설명 순서로 논리적으로 정리한다.
  - 설명은 간결하고 명확하게 작성한다.

(5) OpenAI 노드

Prompt Template에서 만든 최종 프롬프트를 입력받아 실제 응답을 생성하는 LLM 엔진

• 설정

  • Model: gpt-5

• Output: Chat Output으로 전달

(6) Chat Output

최종적으로 사용자에게 보여주는 답변

3. 플로우 결과

기대 효과

• 항상 10~20개 이상의 관련 감사 사례 수집
• LLM이 문서 근거 기반으로 안정적으로 작성
• 유사사례까지 자연스럽게 포함된 답변 생성
• 감사지적문서와 실제 규정/지침 근거가 잘 반영됨