Is GraphRAG Needed? From Basic RAG to Graph-/Agentic Solutions with Context Optimization

서론
본 논문은 RAG의 진화 과정에서 등장한 다양한 변형 모델들(GraphRAG, Modular RAG, Agentic RAG)이 실제 semi-structured knowledge bases에서 어떠한 성능 차이를 보이는지 평가하고, 언제 이러한 복잡한 아키텍처를 도입해야 하는지에 대한 데이터 중심적 통찰을 제공한다. 기존의 단순한 텍스트 기반 RAG는멀티 홉 관계 추론이 필요한 복잡한 쿼리 처리에 한계가 있으며, 이에 대한 대안으로 제시된 고도화된 RAG 기법들이 과연 실질적인 성능 향상으로 이어지는지, 그리고 기존 평가 지표가 이러한 차이를 제대로 포착하는지에 대한 의문을 해결하고자 한다.

방법론

본 연구는 9가지의 표준화된 RAG 시나리오를 설계하여 Regular RAG, GraphRAG, Modular & Agentic RAG 체계로 분류한다.
1. Regular RAG: 엔티티 기술 문서만을 사용하는 기본 모델과 1-hop 이웃 관계를 포함한 문서 기반 모델.
2. GraphRAG: 사전 정의된 KG(Knowledge Graph)만 사용하는 방식, 엔티티 문서로부터 자동 추출된 KG를 사용하는 방식, 그리고 벡터 검색과 사전 정의된 KG를 결합한 하이브리드 방식.
3. Modular & Agentic RAG: 모듈형 워크플로우를 가진 시스템과 AI Agent가 쿼리 재구성, 문서 검색, 재순위화(reranking) 등의 도구를 자율적으로 선택 및 실행하는 방식.

또한, 컨텍스트 오버플로우 문제를 해결하기 위해 Context Optimization 전략을 제안한다.

• Relation-grouped representation: $O(n)$의 트리플렛 형식을 $(entity1 - (relation1|relation2|relation3) - entity2)$와 같은 $O(1)$ 형태의 압축 포맷으로 변환.
• Deduplication: 세션 내에서 엔티티 및 관계 레벨의 중복 제거와 컨텐츠 해시 기반 문서 중복 제거 수행.
• Batch Agentic Retrieval: ReAct와 ReWOO를 결합하여 다수의 하위 쿼리를 단일 배치 호출로 처리함으로써 LLM의 컨텍스트 중복 입력을 최소화.

실험
STaRK-Prime 데이터셋(129K 엔티티, 8.1M 관계)을 활용하여 실험을 수행하였으며, 평가는 기존의 단순 검색 순위 지표가 아닌, LLM이 최종 생성한 답변과 선택된 엔티티 ID의 정확도를 측정하는 End-to-End 방식을 채택했다. 또한, 모든 모듈형/에이전트형 실험에는 Claude 3.7 Sonnet을 사용하였다.

결과

• 성능 분석: 단순 1-hop 관계를 추가한 Regular RAG가 일부 복잡한 GraphRAG보다 우수한 성능을 보였는데, 이는 과도한 그래프 컨텍스트가 LLM의 attention 분산을 초래했기 때문이다. Autonomous Agentic RAG(Scenario 8)가 별도의 특수 도구 없이도 가장 높은 성능을 기록했다.
• Context Optimization: 제안한 최적화 기법을 통해 토큰 사용량을 19%~53% 절감하면서도 성능을 유지하거나 향상시켰다.
• Retrieval-Generation Gap: 검색 범위의 확장(Recall@20 등)이 반드시 답변 품질의 향상으로 이어지지는 않는 현상을 발견했다. 이는 LLM이 컨텍스트의 앞부분에 위치한 정보에 집중하는 'Lost in the middle' 현상, canonical 엔티티에 대한 편향, 그리고 쿼리의 문법적 구조가 멀티 엔티티 추출을 억제하는 현상 때문으로 분석된다.

결론 및 향후 연구
GraphRAG는 복잡한 관계형 쿼리에서 잠재력을 보이지만, 항상 최선의 선택은 아니다. 단순한 RAG 변형이나 자율적인 Agentic RAG가 효율성 측면에서 더 나은 결과를 낼 수 있다. 또한 검색된 정보의 양보다 LLM이 이를 얼마나 효과적으로 활용할 수 있게 구조화하여 제공하는지가 핵심임을 확인했다. 향후 연구는 검색-생성 간의 간극을 줄이기 위해 컨텍스트 재구성 및 답변 유도 프롬프트 설계에 집중해야 한다.