OG-RAG: Ontology-grounded retrieval-augmeÎnted generation for large language models

OG-RAG는 LLM이 헬스케어, 법률, 농업 등 전문 지식 영역에서 일반적인 RAG 방식으로는 한계가 있다는 문제의식에서 출발한 Ontology-Grounded Retrieval Augmented Generation 방법론을 제안하는 논문이다. 기존 RAG 모델은 구조화된 도메인 지식을 활용하지 못해 Suboptimal한 Context 생성으로 이어지는 반면, OG-RAG는 Ontologies를 활용해 이 격차를 해소한다.

서론
LLM은 Question Answering, Search 등 일반적인 작업에 널리 사용되지만, 헬스케어, 법률, 농업 분야의 산업 Workflow나 뉴스 저널리즘, Investigative Research, Consulting과 같은 지식 기반 작업 등 전문 지식에 적응하는 데 어려움을 겪는다. 이는 값비싼 Fine-tuning이나 Suboptimal한 Retrieval 방법 없이는 해결하기 어렵다. 기존 Retrieval-Augmented 모델은 개선을 제공하지만, 구조화된 도메인 지식을 고려하지 못해 Suboptimal한 Context 생성으로 이어진다. Ontologies는 엔티티와 그 상호 관계를 정의하여 도메인 지식을 개념적으로 조직하며, 이 공백을 해결할 구조화된 표현을 제공한다. OG-RAG는 Retrieval 프로세스를 도메인별 Ontologies에 grounding하여 LLM 생성 응답을 강화하도록 설계되었다. OG-RAG는 도메인 문서의 Hypergraph 표현을 구성하며, 각 Hyperedge는 도메인별 Ontology를 사용하여 grounding된 사실적 지식 Cluster를 캡슐화하고, 최적화 알고리즘을 사용하여 주어진 Query에 대한 최소한의 Hyperedges 집합을 검색한다. 실험 결과 OG-RAG는 정확한 사실의 Recall을 55% 증가시키고, 4가지 LLM에 걸쳐 응답 정확도를 40% 향상시킨다. 또한 OG-RAG는 Context에 대한 Attribution을 30% 더 빠르게 가능하게 하며, Fact-based Reasoning 정확도를 Baseline 방법 대비 27% 향상시킨다.

관련 연구
Retrieval Methods는 전통적인 RAG 외에 GraphRAG, RAPTOR, LlamaIndex, Neo4J와 같은 Graph-based 접근 방식이 제안되었다. 이들은 Structured Knowledge Graph를 활용하여 LLM 성능을 향상시키지만, 도메인 전문 지식에 대한 Grounding 없이 Ad-hoc 방식으로 엔티티 및 도메인 정보를 추출하는 한계가 있다. 최근 연구들은 Structured Knowledge Base나 기존 Knowledge Graph에서 검색 및 추론을 탐구하지만, 완전한 Knowledge Graph에 대한 접근이 필요하며 이는 비효율적이다. OG-RAG는 도메인 전문가가 정의한 Semantic Schema를 활용하여 Unstructured Document를 Grounding하고 Retrieval을 개선한다. Contemporaneous Work인 SiReRAG는 RAPTOR의 Semantic Similarity 구조와 GraphRAG의 Entity-driven 구조를 결합하여 OG-RAG의 도메인별 구조를 일반 Semantic Similarity 구조와 결합할 가능성을 제시한다.

RAG의 Domain Adaptation은 Retriever와 Generator의 End-to-end Training, Backbone Sharing, Self-improving, Domain-specialized Retriever Training 등 다양한 기법이 있지만, 이러한 접근 방식은 Retraining을 수반하고 임의의 도메인으로의 기술 적용을 제한한다. Domain Ontology는 Retrieval 프로세스를 Grounding하고 Adaptation하는 독특한 기회를 제공한다. 전통적으로 Ontology는 도메인 지식을 구성하기 위한 일관되고 명확한 Framework를 제공했다. LLM의 출현으로 Ontology의 자동 학습 및 유용한 도메인 정보 추출에 대한 잠재력이 확인되었다. 다른 연구들은 Ontology 정보를 RAG 출력 검증에 활용하지만, Retrieval이나 Generation을 구조적으로 안내하는 데는 초점을 두지 않는다. Bran et al. (2025)과 Xiao et al. (2024)은 Ontology-guided RAG를 제안하지만, 주로 과학 문서 및 자동 Ontology 구성/Entity Typing에 초점을 맞춘다. OG-RAG는 Ontology를 일반적인 도메인별 Retrieval에 활용함으로써 이 간극을 메꾼다.

Attribution은 LLM 응답의 Interpretability와 Reliability를 높이기 위해 신뢰할 수 있는 Source에 Generation을 Attribution하는 것이 중요하다. Citation을 포함한 텍스트 생성 방식이 있지만, 기존 Zero-shot 접근 방식의 한계와 특별히 훈련된 모델의 필요성이 지적되었다. 또한, Local-attributable Methods와 Human-in-the-loop 전략도 탐색되었다. OG-RAG는 사용자가 응답 생성을 추적하는 데 노력이 거의 들지 않는 Easy-to-attribute Context를 제공한다.

Deductive Reasoning은 전통적인 Rule-based Reasoning System은 새로운 결론을 도출하는 데 Interpretability와 Controllability를 제공하지만, LLM과 같은 Neural 모델의 Flexibility와 Generalization Capabilities가 부족하다. 반면 LLM은 Deductive Reasoning에서 임의의 Hallucination에 취약하다. OG-RAG는 Unstructured Text를 도메인별 Vocabulary에 Anchoring하여 Fact-based Reasoning의 구조화된 정밀함과 Neural Flexibility를 결합하여 LLM이 도메인별 규칙을 더 효과적으로 적용할 수 있도록 한다.

배경
Ontology는 도메인 내의 핵심 엔티티와 그 관계에 대한 Formal Representation이다. 예를 들어, 농업 도메인에서는 '작물', '토양', '기상 조건'과 같은 엔티티와 '작물이 지역에서 재배된다', '토양에 수분 수준이 있다'와 같은 관계가 정의된다.
Formal하게, Ontology $O \subseteq S \times A \times (S \cup \{\phi\})$는 엔티티 집합 $S$와 속성 집합 $A$를 사용하여 관계를 맺는 Triple 집합으로 구성된다. 여기서 $(s, a, v) \in O$는 Subject 엔티티 $s$가 속성 $a$를 가지며, 값 $v := v_O(s, a)$가 다음 중 하나임을 나타낸다: (1) 다른 엔티티 $s' \in S$, 또는 (2) 지정되지 않은 도메인 값 $\phi$. $v_O(s, a)$는 엔티티 $s$에 대한 속성 $a$의 값이며, 이는 Ontology 내의 다른 엔티티이거나 정의되지 않은(지정되지 않은) Text 또는 Data이다. 이러한 지정되지 않은 값은 도메인별 문서 $D$에서 관련 지식을 추출하여 채워질 수 있다.
문서의 다른 부분은 동일한 Ontology 엔티티와 관련된 distinct하지만 유효한 Text/Data 값을 제공할 수 있다. 이러한 가변성을 나타내기 위해 Factual Block을 도입한다. 각 Factual Block은 특정 Context에 Grounding된 Localized Subject-Attribute-Value Triple을 캡처한다. 이 메커니즘은 동일한 Ontology 엔티티에 묶인 값들 사이의 Contextual Distinction을 보존하여 Grounding 중 덮어쓰기나 평탄화를 방지한다. 추출된 정보 $I := D(O)$는 자체 포함된 Factual-Block $F \in D(O)$ 집합으로 모델링된다. Definition 2에서 Ontology-mapped data $I := D(O)$는 Factual-block 집합이며, 각 Factual-block $F$는 Ontology 관계 $(s, a, v)$의 집합을 나타낸다. 여기서 값 $v$는 다음과 같이 파생된다: 만약 $v_O(s, a) = \phi$이면 $v \in V$는 문서 Text에서 추출되고, 그렇지 않으면 $v = v_O(s, a)$는 Ontology가 제공하는 값이다. Ontology-mapped data는 도메인별 문서에서 추출된 자체 포함되고 Ontology-grounding된 정보를 나타낸다.

방법론

OG-RAG는 Ontologies(도메인별 개념 및 관계의 Formal Representation)를 Retrieval 프로세스에 통합하여 LLM을 강화한다. 기존 접근 방식과 달리, OG-RAG는 Ontology-driven Hypergraph Retrieval을 활용하여 LLM을 Structured Knowledge Base 및 복잡한 도메인별 Query에 동적으로 Adaptation한다.

Hypergraph Construction
먼저, 일반적인 도메인별 문서 $D$를 주어진 Ontology $O$에 Mapping하고 사용 가능한 정보를 Factual Block $F$ 집합으로 변환한다. 이를 위해 GPT-4o를 활용하고 문서의 Chunk된 부분에서 Ontology에 도메인별 값을 채우도록 Prompt하여 문서를 Retrieval에 적합한 Ontology-grounded Format으로 변환한다.

Hypergraph Transformation
Factual-block $F \in D(O)$는 중첩된 구조이므로 직접적이고 효율적으로 처리하기 어려울 수 있다. 이를 해결하기 위해 Ontology-mapped data $I$의 각 Factual-block $F$를 Flattened Factual-block 집합 $F'$으로 변환하여 정보 처리를 용이하게 한다.
Algorithm 1은 Flattening 프로세스를 설명한다.
$\text{FLATTEN}(F)$ 프로시저는 Factual Block $F$를 입력받아 Flattened Factual-block 집합 $F'$을 반환한다.
1. $F'$을 빈 집합으로 초기화한다.
2. $F^0 \leftarrow \{(s \oplus a, v) : (s, a, v) \in F, v \in V, (s', a', s) \notin F \}$. (직접 Flatten될 수 있는 부분)
3. $F' \leftarrow F' \cup \{F^0\}$.
4. $F \setminus F^0$에 있는 각 $(s, a, s')$에 대해:
a. 만약 $s' \in S$이면:
$F_{s'} \leftarrow F^0 \cup \{(s \oplus a \oplus s' \oplus a', v') : (s', a', v') \in F \}$.
$F' \leftarrow F' \cup \text{FLATTEN}(F_{s'})$.
b. 이 과정을 반복한다.
5. $F'$를 반환한다.

각 Flattened Factual-block은 Hyperedge $e \in E$로 정의되며, Hyperedge $e$는 여러 Hypernode $\{n_i \in N\}$를 연결한다. 각 Hypernode $n_i \in F'$는 Key-value Pair이며, Key는 중첩된 엔티티와 속성을 Concatenate한다. 이 Flattening 프로세스는 정보의 무결성을 보존한다. Hypergraph는 $H(I) := (N, E)$로 정의되며, Hypernodes $N$과 Hyperedges $E$로 구성된다. 여기서 각 Hyperedge $e \in E$는 Hypernodes의 임의 집합이다. $P(X)$를 $X$의 Power Set으로, $\oplus X$를 $X$의 각 요소 내의 String을 Concatenate하여 형성된 집합으로 정의하면, Hyperedges $E \subseteq P(N)$이고 Hypernodes $N \subseteq [\oplus P(S \times A)] \times V$이다. 여기서 $\times$는 Cartesian Product이다. 이 정의에서 Hypernode는 Key-value Pair이며, Hyperedge는 도메인별 데이터에 Grounding된 True Fact로 선언된다. Fact는 두 엔티티(Subject와 Object) 사이의 논리적 Assertio으로, Functional Attribute를 통해 True 또는 False로 입증될 수 있다.

Hypergraph-based Retrieval
도메인별 정보 $H(I(D, O))$에 구축된 Hypergraph를 사용하여 OG-RAG는 사용자 Query $Q$에 기반하여 LLM이 정확하고 도메인별 응답을 생성하는 데 필요한 관련 Context를 검색한다.

Relevant Hypernodes
주어진 Query에 관련된 Hypernode 집합을 식별한다. Hypernode $n \in N$은 Key-value Pair로 표현될 수 있으며, Key는 $S, A, V$ 집합의 요소에서 파생된다. Hypernode는 Query가 용어 $s$의 속성 $a$와 관련되거나, Query가 특정 값 $v$를 가진 Object에 초점을 맞추는 경우 관련성이 있다고 간주된다. 즉, Key(Concatenated Entities and Attributes)와 Query $Q$ 사이의 Similarity가 높거나, Value $v$와 Query $Q$ 사이의 Similarity가 높은 경우 Hypernode는 관련성이 있다. OG-RAG는 Query 관련 Hypernode의 두 가지 집합을 찾는다: $N_S(Q)$와 $N_V(Q)$. $N_S(Q)$는 Vector Space $Z$에서 속성 지정된 용어 $s \oplus a$와 Query $Q$ 사이의 Similarity가 가장 높은 Top $k$ Hypernode를 나타내고, $N_V(Q)$는 Value $v$와 Query $Q$ 사이의 Similarity가 가장 높은 Top $k$ Hypernode를 나타낸다. 따라서 각 Query에 대해 $2 \cdot k$개의 관련 Hypernode를 추출한다.

Relevant Hyperedges as Context
관련 Context는 관련 Hypernode $N(Q) = N_S(Q) \cup N_V(Q)$를 최소한으로 포함하는 Hyperedge $CH(Q) \subset E$ 집합으로 구성된다. 이는 최적화 문제로 공식화되며 Greedy 방식으로 해결된다. 각 Hypernode $n \in N$을 포함하는 Hyperedge 집합 $E(n)$에 매핑하는 Dictionary를 유지한다. 각 반복에서, 가장 많은 수의 Uncovered Node를 포함하는 Hyperedge를 Context에 추가하고 해당 Node를 추가 고려 대상에서 제거한다. 이 프로세스는 $L$개의 Hyperedge를 갖거나 모든 관련 Node가 포함될 때까지 반복된다. 이 방식으로 Context는 주어진 Query와 관련된 사실을 나타내는 최대 $L$개의 Hyperedge Collection으로 구성된다.

Algorithm 2는 OG-RAG의 전체 프로시저를 설명한다.
$\text{OG-PREPROCESS}(O, D, M_0)$ 프로시저는:
1. $I \leftarrow \text{LLM } M_0(\text{Mapping Prompt}, D, O)$.
2. $H(I) \leftarrow \text{Hypergraph with edges } \bigcup_{F \in I} \text{FLATTEN}(F)$.

$\text{OG-RETRIEVE}(Q, H(I), Z, k, L)$ 프로시저는:
1. $N, E \leftarrow \text{nodes, edges of hypergraph } H(I)$.
2. $N_S(Q) \leftarrow \text{topk}_{(s,a,v) \in N} \langle Z(s \oplus a), Z(Q) \rangle$.
3. $N_V(Q) \leftarrow \text{topk}_{(s,a,v) \in N} \langle Z(v), Z(Q) \rangle$.
4. $N(Q) \leftarrow N_S(Q) \cup N_V(Q)$.
5. $CH(Q) \leftarrow \{\}$.
6. $\text{while } (|N(Q)| > 0) \lor (|CH(Q)| < L) \text{ do}$:
$CH(Q) \leftarrow CH(Q) \cup \arg\max_{e \in E} |\{n \in N(Q) : n \in e\}|$.
7. $CH(Q)$를 반환한다.

실험
OG-RAG는 두 가지 도메인 범주에서 평가된다: (a) 농업 도메인에 초점을 맞춘 산업 Workflow, (b) 뉴스 도메인의 연구 및 분석 작업을 평가하는 Knowledge Work. 농업 도메인에는 인도 콩 및 밀 재배에 관한 전문가가 준비한 85개의 문서로 구성된 고품질 데이터셋 두 개를 사용한다. 뉴스 도메인에는 Multi-hop RAG에서 공개적으로 사용 가능한 데이터셋을 사용하여 복잡하고 다면적인 뉴스 스토리에 초점을 맞춘 RAGAS Reasoning Question의 Hard Subset을 생성한다. 총 45,000개 이상의 엔티티 속성 관계가 생성된다.

Ontology는 두 도메인 모두에 대해 Semi-automated Approach를 사용하여 구축되었다. 농업 도메인의 Ontology는 Proprietary Ontology Learning Module을 사용하여 생성되었으며, 이는 작물 재배 전문가의 검토 및 검증을 거쳤다. 뉴스 도메인에는 기존 Simple News and Press (SNaP) Ontology를 수정하여 사용했다.

Large Language Models로는 GPT-4o-mini, GPT-4o, Llama-3.1-8B, Llama-3.1-70B 4가지 모델을 Zero-shot Query Answering에 사용했다.

Baselines로는 RAG, RAPTOR, GraphRAG 3가지 주요 Retrieval-based Methods와 비교했다. Text-embedding-3-small을 Sentence Embedding Function으로 사용하고 GPT-4o를 M0로 사용했다. 각 방법에 대해 Top {2, 5} Context를 찾고 성능이 가장 높은 것을 선택했다.

Metrics로는 RAGAS Framework를 기반으로 Context Recall (C-Rec), Context Entity Recall (C-ERec), Answer Similarity (A-Sim), Answer Correctness (A-Corr), Answer Relevance (A-Rel)를 사용했다.

결과
Query Answering:
질문 생성은 RAGAS Framework를 사용하여 Multi-hop Reasoning Abilities에 초점을 맞춘 100개까지의 고유한 질문/답변 쌍을 생성했다.

1. 유용한 Context 검색 여부: Context Recall 및 Context Entity Recall을 사용하여 평가했다. Table 1에서 OG-RAG는 거의 모든 경우에서 Baselines를 능가하며, 정확한 Claims Recall을 55%, 정확한 Entities Recall을 110% 향상시킨다. 뉴스 데이터셋에서는 RAPTOR와 Context Recall 성능이 일치하지만 더 나은 성능을 제공한다.
   

2. 사실적으로 정확한 응답 생성 여부: 생성된 응답이 Ground-truth Answer와 얼마나 밀접하게 일치하는지 비교하여 평가했다. Table 2에서 OG-RAG는 지속적으로 Baselines를 능가하며, Answer Correctness를 40%, Answer Relevance를 16% 향상시킨다. OG-RAG가 약간 낮은 성능을 보인 유일한 예외는 GPT-4o 및 Llama-3-70B의 밀 및 콩 데이터셋에서 Answer Relevance이다. 이는 검색된 Context의 광범위한 범위로 인해 때때로 Extraneous Information이 도입될 수 있기 때문일 수 있다.

3. 효율성: OG-RAG는 Pre-processing 및 Per-query Retrieval Time 측면에서 계산적으로 효율적임을 보여준다. Table 3에서 OG-RAG는 Simple RAG 방법과 거의 동일한 효율성을 보이며, Fact Accuracy가 100% 이상 좋음에도 불구하고 Querying Time에서 최대 2초의 미미한 증가만 있다. OG-RAG는 Pre-processing 및 Query 단계 모두에서 RAPTOR 및 GraphRAG와 같은 더 경쟁적인 Baselines보다 훨씬 낮은 Computational Time을 보여주며, 특히 Pre-processing Time에서 50% 감소가 두드러진다.
   

Context Attribution:
인간 연구를 통해 제안된 방법이 LLM 생성 응답 내에서 사실을 검증하는 데 얼마나 효과적인지 평가했다. 콩 데이터셋에서 10개의 Query를 무작위로 선택하고 RAG 및 OG-RAG에서 GPT-4o가 생성한 응답을 각각의 Context와 함께 제시했다. 참가자는 Context가 응답에 제공하는 사실적 지원 수준을 1-4 척도로 평가하고 완료 시간을 측정했다. Table 4에서 OG-RAG는 필요한 시간을 28.8% 단축하고 참가자가 Context에 부여한 Support를 평균 29.6% 증가시켰다.

Factual Deduction:
OG-RAG가 LLM에서 Deductive Reasoning을 향상시키는 능력을 평가했다. 농업 분야의 6가지 사실을 사용하여 CO2e 배출량을 추론했다. 질문 생성은 RAGAS 가이드라인에 따라 GPT-4o를 Prompt하여 Deductive Fact 적용을 요구하는 질문을 생성했다. Table 5에서 OG-RAG Context는 두 가지 예외를 제외하고 모든 경우에서 Baseline 방법과 비교하여 생성된 답변의 정확성, 유사성 및 관련성을 상당히 향상시켰다.

Ontology Sensitivity:

Ontology 품질에 대한 Sensitivity를 테스트하기 위해 Ontology에서 특정 Attribute를 무작위로 Drop했다. 옆 그림에서 Ontology Dropout Probability가 증가함에 따라 Soybean 데이터셋에 대한 Normalized Answer Similarity, Normalized Answer Relevance, Normalized Context Recall 값의 Min-Max 범위를 보여준다. Ontology 정보의 약 절반이 Drop될 때까지 결과가 유지되는 것을 관찰했다.

결론

이 논문에서 OG-RAG는 Ontology-grounded Retrieval-augmented Generation을 사용하는 LLM 도메인 Adaptation을 위한 새로운 Hypergraph-based Retrieval Method를 제안한다. OG-RAG는 헬스케어, 법률, 농업, 저널리즘 및 연구를 포함한 다양한 도메인에서 광범위한 적용 가능성을 가진다. 농업 및 뉴스 데이터셋에 대한 실험은 OG-RAG가 사실 정확도를 향상시키고, 답변 Attribution을 가속화하며, 규칙 기반 추론을 강화함을 보여준다. Context가 검색되고 활용되는 방식에 더 큰 유연성과 제어를 제공함으로써 OG-RAG는 Controlled Vocabulary 및 Structured Evidence Retrieval을 통합하여 더 적응력 있고 신뢰할 수 있는 언어 시스템의 길을 열었다. 이는 생성된 응답에 대한 사용자 이해도를 높일 뿐만 아니라 LLM을 산업 Workflow 및 지식 작업에 더 원활하게 통합하는 데 기여한다. 향후 연구에서는 이러한 Framework를 End-to-end 방식으로 구축하기 위한 자동화 또는 Semi-automated Ontology 구축 기술을 탐색하여 다양한 도메인에 걸쳐 Retrieval-augmented Models의 광범위한 적용 가능성을 보장할 수 있다.

제한 사항
Ontology Creation은 도메인 Adaptation 및 Retrieval의 효율성을 위해 잘 정의된 Ontology가 필요하므로, Ontology의 가용성에 제약이 있다. 이 논문은 Knowledge Work 및 Industrial Workflows와 같이 상세한 Ontology를 이미 개발한 Legacy System의 이점을 활용했다. 그러나 이러한 의존성은 기술과 같은 신규 및 빠르게 발전하는 도메인에서는 한계가 될 수 있다. 따라서 향후 연구에서 도메인 지식을 Ontology로 자동화하여 추상화하는 방법을 다룰 수 있다.

Human Experiment는 16명의 참가자 모두 LLM에 익숙한 18-34세의 대학 교육을 받은 사람들이었다. 더 큰 규모의 연구가 더 강력한 결론을 도출하겠지만, 사용자 연구는 Context Attribution 증거를 수집하기 위한 targeted, cost-conscious Evaluation으로 활용되었다.