[논문 Review] LLMs for knowledge graph construction and reasoning : recent capabilities and future opportunities
논문 리뷰
LLMs for knowledge graph construction and reasoning : recent capabilities and future opportunities
읽은 날짜: 2025년 5월 19일 ~ 5월 25일
Abstract
LLM이 지식 그래프(KG)의 구축 및 추론에 얼마나 효과적인지를 정량적, 정성적으로 포괄적으로 평가한다.
위 논문에서는 총 8개의 다양한 데이터셋을 대상으로 실험을 수행하고 그 중에서도 엔티티 및 관계추출, 이벤트 추출, 링크 예측, 질의응답이라는 네 가지 대표적인 과제에 집중하여 LLM이 지식 그래프 구축과 추론 영역에서 어떻게 성능을 발휘하는지 실험했다.
1. Introduction
지식 그래프(KG)를 구축하기 위해서는 일반적으로 다음과 같은 작업들이 포함된다.
- 개체명 인식(Named Entity Recognition, NER)
- 관계 추출(Relation Extraction, RE)
- 이벤트 추출(Event Extraction, EE)
- 엔티티 연결(Entity Linking, EL)
또한 링크 예측(Link Prediction, LP)은 KG의 추론에서 핵심적인 단계로 이미 구축된 KG의 이해를 돕는 데 필수적이다.
이러한 KG는 질의응답(Question Answering, QA) task에서도 중심적인 역할을 하며 특히 질문 문맥을 기반으로 추론을 수행하고 관련된 관계 서브그래프를 구축하거나 활용하는 데 매우 중요하다.
Recent Capabilities
엔티티 및 관계 추출 그리고 이벤트 추출은 KG 구축에서 핵심적인 작업이며 이 작업을 ㅌ통해 방대한 양의 엔티티, 관계, 이벤트 데이터를 구조화된 표현으로 조직화할 수 있다.
링크 예측은 KG 추론의 핵심 작업이며 엔티티 간의 잠재적 관계를 발견하여 지식 그래프를 더욱 풍부하게 만든다.
위 논문에서는 LLM이 지식 기반 질의응답 작업에서 어떻게 활용될 수 있는지를 실험한다. 이러한 내용을 바탕으로 KG 구축과 추론을 평가하기 위한 대표 과제들로 위의 작업들을 선정했다.
Figure 1. The overview of our work.
Figure 1과 같이 초기 실험에서는 LLM의 zero-shot 및 one-shot 설정에서의 성능을 중심으로 평가를 진행했다.
Generalizability Analysis
LLM이 정보 추출 작업에서 보이는 행동을 분석하기 위해 가상 지식 추출(Virtual Knowledge Extraction)이라는 고유한 과제를 새롭게 만들었다. 이 과제는 LLM이 한 번도 본 적 없는 새로운 지식을 일반화하여 추출할 수 있는 능력을 평가하는 것을 목표로 한다.
이를 위해 새롭게 VINE 데이터셋을 구축했다. 실험 결과 GPT-4와 같은 LLM은 지침(instruction)을 통해 새로운 지식을 학습하고 그 지식을 바탕으로 정보 추출 작업을 효과적으로 수행할 수 있었다.
Future Opportunities
LLM은 기존의 소형 모델에 비해 자원 낭비를 줄이고 새로운 상황이나 데이터가 부족한 환경에서도 높은 적응력을 보인다. 그러나 LLM은 프롬프트 엔지니어링(prompt engineering)에 대한 의존도가 높으며 지식 커트오프(knowledge cutoff)로 인한 내재적 한계도 존재한다.
따라서 최근 연구들은 LLM이 외부 리소스에 접근하고 이를 활용할 수 있도록 하는 상호작용 메커니즘에 주목하고 있어 위 논문에서 AutoKG 프레임워크를 제안한다. 이는 다중 에이전트 기반 상호작용을 통한 KG의 자율적 구축 및 추론 시스템이다.
Contribution
-
LLM을 평가하여 8개의 벤치마크 데이터셋에 대한 KG 구축 및 추론 작업에서 zero-shot 및 one-shot 성능을 분석했다.
-
Virtual Knowledge Extraction이라는 새로운 과제를 설계하고 VINE 데이터셋을 구축했다.
-
AutoKG 프레임워크 제안했다. 이는 LLM의 내재된 지식을 활용하고 다수의 에이전트들이 반복적인 대화를 통해 지식 그래프를 구축하고 추론하도록 설계된 구조다.
2. Recent capabilities of LLMs for KG construction and reasoning
LLM 모델들이 KG 관련 작업에서 어떤 성능을 보이는지 평가 실험을 한다.
2.1 Evaluation principle
위 실험에서 중점적으로 다룬 것은 zero-shot 및 one-shot 과제에서의 성능이다. 이러한 과제는 제한된 데이터 환경에서의 모델의 일반화 능력(generalization capability)을 보다 명확히 드러낼 수 있기 때문이다.
각 실험에서 사용된 프롬프트(prompt)는 논문에서 부록 D(Appendix D)에 나와있다.
2.2 KG construction and reasoning
2.2.1 Settings
사용된 데이터셋
| Task | Dataset |
|---|---|
| 엔티티 및 관계추출, 이벤트 추출 | DuIE2.0, SciERC, Re-TACRED, MAVEN 데이터셋 |
| 링크 예측 | FB15K-237, ATOMIC 2020 |
| 질의응답(QA) | FreebaseQA, MetaQA |
를 사용했다. 각 데이터셋에 대한 상세 설명은 논문 부록 B(Appendix B)에 있다.
엔티티 및 관계추출, 이벤트 추출 관련 데이터셋
| 데이터셋 | 설명 |
|---|---|
| DuIE2.0 | Baidu에서 공개한 중국어 기반 관계 추출(Relation Extraction) 데이터셋으로, 실제 웹 문서에서 추출한 문장과 이에 대한 구조화된 삼중항(subject, predicate, object) 정보가 포함되어 있습니다. 관계 추출 및 이벤트 추출 연구에 자주 사용됩니다. |
| SciERC | 과학 논문(Computer Science, AI, etc.)을 기반으로 만든 영어 데이터셋으로, Entity, Relation, Coreference 정보를 주석한 형태입니다. 논문 문장에서 과학적 개념 간의 관계를 추출하는 데 적합합니다. |
| Re-TACRED | Stanford에서 공개한 TACRED의 개선 버전으로, **관계 추출(Relation Extraction)**에 사용됩니다. 문장에서 두 엔티티 간의 관계를 라벨링한 데이터셋으로, 사람에 의한 레이블 오류를 수정한 것이 특징입니다. |
| MAVEN | **대규모 이벤트 추출(Event Extraction)**을 위한 영어 기반 데이터셋입니다. 168개 이벤트 유형(event types)과 수천 개 이벤트 인스턴스를 포함하고 있으며, 여러 이벤트 유형을 포함하는 문장도 있어 복잡한 추출 문제를 다룹니다. |
링크 예측 관련 데이터셋
| 데이터셋 | 설명 |
|---|---|
| FB15K-237 | Knowledge Graph 기반 링크 예측(Link Prediction) 태스크를 위한 대표적인 벤치마크입니다. Freebase에서 파생된 데이터셋으로, 정보 누수를 방지하기 위해 역관계(reversed relation)가 제거된 237개 관계(relation)를 포함합니다. |
| ATOMIC 2020 | 인간의 일상 상식(social commonsense reasoning)을 위한 인과적 지식 그래프로 구성된 데이터셋입니다. "사람 A가 어떤 행동을 하면 어떤 감정, 의도, 결과가 생기는가?"와 같은 상식적인 관계들을 예측하는 데 사용됩니다. |
질의응답(QA) 관련 데이터셋
| 데이터셋 | 설명 |
|---|---|
| FreebaseQA | Freebase 지식그래프를 기반으로 한 질의응답 QA 데이터셋으로, 엔티티에 대한 질의와 답변을 포함합니다. 단답형 질문에 대한 정확한 정답 추출을 목표로 합니다. |
| MetaQA | 멀티-홉(Multi-hop) 질의응답을 위한 데이터셋으로, 영화 도메인을 기반으로 합니다. 질문은 자연어로 되어 있으며, 지식그래프 기반 reasoning을 요구하는 QA 태스크에 사용됩니다. 1-hop, 2-hop, 3-hop 질문 유형으로 구성되어 있음. |
2.2.2 Overall results
Entity and Relation Extraction
DuIE2.0, Re-TACRED, SciERC 각각에서 관계 유형이 모두 포함된 테스트/검증 세트에서 20개의 샘플을 사용해 실험을 진행했다.
평가 기준으로는 F1 점수를 활용했다.
-
Zero-shot
GPT=4는 모든 실험 데이터셋에서 zero-shot 성능이 크게 향상되었고 언어적 이해력이 더 뛰어남을 보여준다. -
One-shot
One-shot 설정에서는 텍스트 지침(prompt)의 최적화가 LLM의 성능 향상에 도움이 되는 것으로 나타났지만 문장이 복잡하거나 프롬프트 품질이 낮고 관계가 모호하면 GPT-4도 추론 오류 또는 성능 저하를 경험한다.
Event Extraction
MAVEN 데이터셋에서 모든 이벤트 유형을 포함한 무작위 20개 샘플을 선택하여 이벤트 탐지(event detection) 실험을 수행하고 평가는 F-score를 기준으로 했다.
실험 결과에 따르면 GPT-4는 SOTA보다 일관된 우위를 보이지는 않고 GPT-4와 ChatGPT가 상황에 따라 서로 성능이 앞서는 경우가 존재했다.
Table 1. KG Construction and KG Reasoning tasks
-
Zero-shot
GPT-4는 ChatGPT보다 전반적으로 더 나은 성능을 보였다. -
One-shot
One-shot 환경에서는 ChatGPT의 성능이 눈에 띄게 향상된었지만 GPT-4의 성능은 오히려 소폭 하락했다.
Link Prediction
링크 예측 실험은 두 개의 서로 다른 데이터셋인 FB15k-237 및 ATOMIC2020을 대상으로 수행했다.
-
FB15k-237: 무작위로 선택한 25개의 인스턴스로 구성됨
-
ATOMIC2020: 가능한 모든 관계 유형을 대표하는 23개의 인스턴스로 구성됨
-
Zero-shot
Table 1에 따르면, GPT-4는 FB15k-237에서 hits@1 점수가 SOTA에 근접하는 수준을 보여주었다. 그리고 ATOMIC2020의 경우, GPT-4가 다른 두 GPT 계열 모델보다 성능이 높긴 하지만 BLEU-1 점수 기준으로는 fine-tuned SOTA와 여전히 상당한 격차가 존재한다.
zero-shot의 경우 ChatGPT는 링크 예측의 불확실성에 직면했을 때 즉답을 회피하고 더 많은 문맥 정보를 탐색하려는 경향을 보였다. 반면 GPT-4는 보다 직접적인 응답을 내놓는 경향을 보였다.
- One-shot
실험 결과 one-shot 환경에서 GPT-4는 두 데이터셋 모두에서 성능이 향상되었으며 특히 삼중항(triple) 내에서 tail entity를 정확하게 예측하는 능력을 보였다.
Figure 3. Here are examples of task Event Extraction, Link Prediction and Question Answering
Figure 3 예세에서 zero-shot 설정에서는 GPT-4가 관계를 제대로 이해하지 못하지만 one-shot 설정에서는 GPT-4가 정확하게 예측했다.
Question Answering
지식 기반 질의응답(Knowledge Base QA) 분야에서 널리 사용되는 두 개의 데이터셋인 FreebaseQA와 MetaQA를 사용하였고 각각에서 무작위로 20개의 인스턴스를 샘플링하여 평가를 진행했다. 평가 지표로는 정답 일치율(Answer Exact Match)를 사용했다.
- Zero-shot
Table 1에 따르면 ChatGPT와 GPT-4는 FreebaseQA에서 동일한 성능을 기록하였고 기존 완전 감독 학습 SOTA 대비 16% 더 높은 성능을 보였다.
반면 MetaQA에서는 여전히 LLM들과 감독 학습 기반 SOTA 간의 큰 성능 격차가 존재했다.
- One-shot
Table 1의 결과에 따르면 text-davinci-003 모델만 프롬프트 제공에 따른 성능 향상을 보였고 ChatGPT와 GPT-4는 오히려 성능이 하락하는 양상을 보였다.
이러한 현상은 소위 alignment tax라고 불리는 문제 때문으로 보인다.
즉 모델이 인간 피드백에 잘 맞도록 정렬되는 과정에서 in-context 학습 능력이 일부 희생되는 경향이 있다는 것이다.
2.2.3 KG construction vs. reasoning
KG의 구축과 추론 작업에 대한 실험을 통해 LLM은 구축 능력보다 추론 능력에서 더욱 우수한 성능을 보인다는 사실이 확인되었다.
전반적으로 LLM의 성능이 뛰어나긴 하지만 zero-shot 및 one-shot 설정에서는 KG 구축 작업에서 여전히 SOTA 모델을 능가하지는 못한다. 제한된 데이터 환경에서의 정보 추출 능력에 한계가 있다는 것을 시사한다.
2.2.4 General vs. specific domain
위 논문에서는 GPT-4를 이용해 LLM의 성능을 다양한 지식 도메인 전반에 걸처 평가를 진행했다. GPT-4와 ChatGPT 모두 specific domain에서 더 낮은 성능을 기록했다. LLM이 전문 도메인에 특화된 데이터에 대해 한계를 보인다.
2.3 Discussion: Why LLMs do not present satisfactory performance on some tasks?
결론적으로 LLM의 실제 능력은 평가 방법, 지시문 품질, 데이터셋의 특성 등 다양한 요인에 따라 영향을 받으며 일부 과제에서 만족스럽지 않은 성능은 반드시 모델 자체의 한계만으로 보기 어렵다.
2.4 Discussion: Do LLMs have memorized knowledge or truly have the generalization ability?
LLM은 적은 정보만으로도 구조화된 지식을 빠르게 추출해내는 데 매우 유리하다. 그래서 LLM의 성능 우위에 관련한 질문을 제기한다.
- 사전 학습 단계에서 대량의 텍스트 데이터를 활용해 지식을 저장한 결과인가?
- 강력한 추론 및 일반화 능력 덕분인가?
이 질문에 답을 하기 위해 가상 지식 추출(Virtual Knowledge Extraction) task를 설계했다. 이 task에서는 LLM이 본 적 없는 지식을 얼마나 잘 일반화하고 추출할 수 있는지를 평가하는데 중점을 둔다.
실제 존재하지 않는 가상의 엔티티와 관계들을 조합하여 VINE이라는 새로운 데이터셋을 만들었다.
2.4.1 Data collection
데이터는 2022년과 2023년에 뉴욕타임즈에서 개최한 두 차례의 공모전 참가자 응답 일부를 데이터 소스로 선정했다.
2.4.2 Preliminary Results
모든 관계 유형을 포함하도록 설계된 문장 10개를 무작위로 선정하여 평가를 진행했다. 각 task 샘플에 대해 동일한 관계에 대한 두 개의 데모 예시를 학습한 뒤 성능을 비교 평가했다.
그 결과
- GPT-4는 virtual triple의 80%를 정확히 추출함
- ChatGPT는 27%의 정확도만 기록함
Figure 4. Prompts used in Virtual Knowledge Extraction. The blue box is the demonstration and the pink box is the corresponding answer
Figure 4에서 LLLM에게 가상 관계 유형과 가상 엔티티로 구성된 triple을 제공한다.
위 실험을 바탕으로 GPT-4는 비교적 강력한 일반화 능력을 보유하고 있으며 기존에 학습한 지식에 단순히 의존하는 것이 아니라 지시문(instruction)을 통해 새로운 지식을 빠르게 학습하고 추출하는 능력을 갖추고 있다.
3 Future opportunities: automatic KG construction and reasoning
KG를 구축할 때 LLM은 자원 활용 측면에서의 효율성과 다양한 응용 도메인과 데이터가 부족한 환경에서도 소형 모델에 비해 뛰어난 적응력을 보여준다. 이러한 장점을 통해 LLM은 KG 구축 및 추론의 핵심 도구로 자리잡고 있다.
그러나 인간 선호도와의 불일치(misalignment), 환각(hallucination) 현상 등 몇 가지 한계점도 지적한다.
이러한 배경 속에서 최근에 대화형 자연어 처리(Interactive NLP)에 대한 관심이 커지고 있으며 지능형 에이전트(intelligent agents)에 대한 연구도 활발히 진행되고 있다.
대표적인 예로는 AutoGPT가 있으며 이 모델을 프로픔트를 스스로 생성하고 이벤트 분석, 프로그래밍, 수학 연산과 같은 작업을 자율적으로 수행할 수 있다. 그래서 위 논문에서 KG 구축을 위해 역할 기반의 소통형 지능 에이전트를 활용할 것을 제안한다.
- 각 에이전트는 상이한 역할(role)을 수행한다.
- 상호 지식을 기반으로 협업하여 KG 작업을 수행한다.
- 사전 학습 단계에서의 지식 커트오프 문제를 보완하기 위해 외부 자원의 연동이 필요하다.
활용 가능한 외부 자원은 다음과 같다
- 기존 지식 그래프(KG)
- 지식 베이스(Knowledge Base)
- 웹 검색 시스템(Internet Retrieval Systems)
이러한 전체적인 구조를 AutoKG이다.
Figure 5. Illustration of AutoKG, that integrates KG construction and reasoning by employing GPT-4 and communicative agents based on ChatGPT. The figure omits the specific operational process, providing the results directly
AutoKG Limitation
- API 토큰 제한
- 사람-기계 간 상호작용의 비효율성
- LLM의 환각 문제
4 Conclusion and Future Work
위 논문에서는 LLM을 활용한 KG 구축 및 추론에 대해 탐구했다. 그 결과 LLM이 강력한 문맥 기반 학습 능력을 보유하고 있음이 확인되었다.
또한 다중 에이전트 구조를 활용하여 KG 구축 및 추론을 수행하는 새로운 접근법인 AutoKG를 제안했다.
