[논문리뷰] KG.GOV: Knowledge graphs as the backbone of data governance in AI

참고

• https://moderndata101.substack.com/p/the-ontology-pipeline?r=ee6qm&utm_medium=ios&triedRedirect=true
  

1. Introduction

KG의 종류

• static kg(SKG)
  • 트리플이 업데이트 되지 않거나 매우 비정기적으로 업데이트 됨.
    
  • 최신성 반영에 한계가 있음
    
• dynamic kg(DKG)
  • skg의 최신성 반영 문제를 해결하기 위해 제안
    
  • 지속적으로 지식을 수집하고 업데이트
    
• Temporal KG(TKG)
  • 시간 정보를 트리플에 추가함
    
• Event KG(EKG)
  • 엔티티가 아닌 이벤트 중심으로 구성되는 KG
    
  • 이벤트간의 관계는 일시적이고 인과적
    

Knowlege Extration : 비정형 데이터에서 자동으로 정형화된 지식을 추출하는 기술. 다양한 유형의 KG에 대한 지식 추출은 NER(Named Entity Recognition), 관계 추출, 이벤트 추출 및 규칙 추출과 같은과 같은 자연어처리 기술을 포함함

본문에서 리뷰되는 대부분의 학술지는 불완전성 문제를 겪음 -> 이는 다운스트림 테스크에서의 KGT 적용 메트릭을 제한함. 즉, 불완전성 문제가 KG 적용에 있어 큰 챌린지 -> KG Reasoning(비어있는 사실관계를 추론을 통해 메꾸는 것)이 이에 대한 해법이 될 수 있음.

기존의 연구는 단일한 유형의 KG에 대한 지식추출, 지식추론만을 리뷰함. 본문에서는 다양한 유형의 KG의 관점에서 리뷰

2. Evolution of Knowledge Graphs

• 지식그래프의 개념은 WWW1.0시대, 시멘틱웹의 발전에 따라 점진적으로 형성됨. (2006~)
  
• 초기 지식그래프는 정적인 지식을 저장하기 위해 사용되었으나, 다운스트림 테스크나 지식의 최신성에 대한 요구가 제기됨
  
• 이에 대해 Event centric KG 제안됨. EKG는 경영과 관광과 같은 특정 도메인에서 각광받음
  

2.1. Static Knowledge Graphs

• KG는 SKG->DKG->TKG->EKG 순으로 발전
  
• SKG는 정보검색이나 고정된 질문-답변이 필요한 QA와 같은 테스크에 적합하나 최신 정보 적용에 부적합.
  

2.2. Dynamic Knowledge Graphs

• 최신정보가 갱신됨에 따라 그래프의 트리플도 갱신하는 방식.
  
• 특정 시점의 DKG는 SKG로 볼 수 있으며 더이상 업데이트 되지 않는 DKG 또한 SKG로 볼 수 있음. 즉, SKG를 DKG의 특정한 유형으로 설명할 수 있음.
  

• 검색엔진, 추천시스템, 챗봇 등에 활용
  
• 최신정보 업데이트에는 적합하나, 과거 데이터에 대한 손실 때문에 역사적인 분석이나 트렌드 분석, 트렌드 예측 등에 부적합함.
  

2.3. Temporal Knowledge Graphs

• 시간 차원을 추가한 것. 즉, 같은 엔티티와 릴레이션이라고 해도, 시간차원이 다르면 상이한 값으로 인식하도록 함. (즉, 버락오바마 -(당선되다, 2008)->대통령 과 같은 식으로 표현함)
  
• Time-sensitive 한 task에 활용하는 것이 가능함.
  
• 대표적으로 위키데이터가 TKG이고 TKG 개념 차용해 쿼드러플로 지식을 표현하기도 함.
  
• 모든 그래프가 타임스탬프를 포함하지는 않으며, 따라서 시간차원이 없는 DKG를 TKG의 일종으로 해석할 수도 있음.
  
• TKG는 entitiy-centric한 그래프임. 따라서 사건정보로부터 지식을 추출하므로 사건 정보를 효과적으로 표현하는 것이 불가능함
  

2.4. Event Knowledge Graphs

• 최근의 KG 연구는 여러개의 개체와 관계를 포함하면서 시간적인 경계가 있는 이벤트 지식그래프의 표현과 이해에 초점을 맞추고 있음.
  • EGG : 이벤트 노드가 추상적이고 일반화 되었으며, 의미적으로 완전한 동사구이며 엣지는 이벤트 노드 간의 시간적/인과적 관계를 표현함
    
  • EventKG : 다국어 TKG. 역사적, 현대적 사건에 대한 이벤트 중심 정보와 시간적 관계 집계
    
  • ELG : 스키마수준의 event knowledge에 집중
    
  • EvGraph : 자동으로 구조화된 뉴스 정보를 EKG 로 변환하는 파이프라인
    
• TKG와 비교했을 때 EKG는 노드 타입(이벤트노드)를 하나 더 포함하며, 두 종류의 간선 타입을 포함(entity-event, event-event). 다른 유형들과 역시 마찬가지로 TKG도 특정 유형의 EKG라고 설명할 수 있음.
  
• 재무정량투자(?)와 텍스트 생성과 같은 이벤트 관련 다운스트림 task에 활용이 가능하다.
  

3. Knowledge Extraction

• KG는 기본적으로 텍스트로부터 트리플을 추출하여 구성됨. 따라서 지식추출은 NER, RE와 같은 자연어처리 기술을 아우름. TKG, EKG는 여기에 더해 시간정보, 사건정보를 추출하는 기술이 필요함
  
• KG에서 관계간의 논리적 규칙은 사실적 지식 외에 특별한 종류의 지식으로 간주될 수 있음(?)
  
• LLM의 강력한 자연어 이해 능력을 활용해, LLM을 지식추출 과정에 널리 활용함.
  

3.1. Named Entity Recognition

• 초창기에는 sequence tagging method가 널리 사용됨
  
• tagger의 조합을 이용해 엔티티를 생성해내기도 함.
  
• 딥러닝이 발전함에 따라 DNN 기반의 모델들이 많이 제시됨 (RNN, CNN 기반)
  
• 최근에는 LM 기반 연구
  • Discriminative model : 기존의 인코더 아키텍쳐 기반의 분류기 모델 -> 엔티티, 태그분류, 인식 결과가 태그 시퀀스임
    
  • Generative model : 디코더 기반의 생성모델 -> 토큰마커를 활용한 시퀀스 생성. 인식 결과가 사람-태그 방식. 결과물의 차이라기보다는 고정된 태깅값을 맵핑시키는게 아니라 생성한다는 점에서 차이
    
  • 임베딩 방식에 따라서도 구분됨 (static-embedding model:GloVe같은 모델, contextualized-embedding model: 인코더 사용한 벡터표현)
    
• Static Embedding + Discriminative LM : Word2Vec, FastText, GloVe와 같은 고정적인 단어장 사용하는 인코딩 방식. 텍스트의 맥락적 뉘앙스를 담아낼 수 없다는 한계가 있음
  
• Contextualized Embedding + Discrimitive LM : 인코더 아키텍쳐를 사용하는 LM기반 임베딩은 맥락정보를 포함시킬 수 있다는 장점이 있음. 맥락화 수준에 따라 단어수준, 문자수준으로 나눌 수 있음.  단어수준 모델의 대표적인 예는 BERT와 ELMo가 있음. 실증적 연구 결과로는 단어수준(BERT)가 효과적이라고함.
  
• Contextualized Embedding + Generative LM : 기본적으로 task를 Seq2Seq task로 변환함. ‘식별된 엔티티 | 엔티티 타입’ 형식으로 생성함. 이러한 방법은 잘못된 추출을 생성하지 않도록 생성 과정에서의 견고성과 정확성을 향상시키는 것이 중요함.
  
• Discriminative가 일반적으로 더 우수하고 정확한 결과를 생성하는 결과가 있음. 하지만 이를 위해선 상당한 양의 학습데이터가 필요함.
  
• Generative는 비교적 적은 양의 학습 데이터가 필요하다는 장점이 있으나, 부정확한 결과가 생성될 수 있다는 한계가 있음.
  

3.2. Relation Extraction

• RE는 문장 내용에서 엔티티간의 관계를 식별하는 과정임.
  
• Pipeline-Based Method : 엔티티 인식 -> 엔티티에 대한 관계 추출 하는 방식으로 진행. 즉 엔티티 식별과 관계의 추출이 별개의 독립된 과정으로 실행됨.
  
• 관계 추출은 다중 클래스 문제로 다뤄짐
  
• Pipeline-based method
  • 특징 기반(feature-based), 커널기반(kernel-based) 전략으로 구분됨. 두 전략 모두 엔티티 쌍에 대한 표현을 도출하고 그 후 분류기를 사용해 관계를 구별한다는 공통점이 있음.
    
  • 최근에는 언어모델을 활용한 관계 추출이 관심을 받고 있음.
    
  • 파이프라인 기반의 관계추출 방식은 공통적으로 엔티티의 가용성(availability)와 사전 정의된 관계집합이 주어진 상황에서의 분류작업에 초점
    
  • 엔티티인식+관계인식이 동시에 진행되므로 오류가 다른 과정으로 전파될 수 있다는 문제가 있음.
    
• Joint-based Method
  • 비언어모델 딥러닝 방식과 언어모델 기반의 방식으로 나뉨
    
  • 비언어모델 딥러닝 방식은 RNN과 같은 방식. 엔티티 식별 과정과 관계 식별 과정 간의 매개변수를 공유함.
    
  • Yu et el. : 기존의 추출 후 분류 패러다임에서 벗어나 공동추출을 두 개의 상호 관련된 하위 작업으로 분해하고, 이런 하위 작업을 시퀀스 레이블링 문제로 변환해 해결 -> 즉 추출 후 분류 접근법에서의 상호작용 인식 부족 + 중복 개체로 인한 문제 해결을 위해 제안됨.
    
  • 언어모델 기반의 접근 방식에서는 기본적으로 사전 훈련된 언어모델의 인코더를 사용함. 대체로 BERT를 문장의 인코더로 사용하고. multi-head inter attention layer를 통해 다중 채널에서 생성된 임베딩을 전달시키는 방식임.
    • Inter Attention? : 특징적 요소를 반영시키는 어텐션 레이어 정도인듯..? 엔티티명이 같아도 특성에 따라 릴레이션을 달리 반영시키는 아이디어인가?
      
  • joint based method는 개체-관계의 정보와 상호작용을 증대함으로써 엔티티와 관계를 동시에 추출하는데 뛰어나다는 장점이 있으나, 여전히 오류 전파 가능성이 있으므로 신중히 도입해야함.
    

3.3 Dynamic Knowledge Extraction

• NER, RE 모두 정적인 상태에서의 추출방법임. 정보가 계속해서 변화하는 실시간 환경에서는 동적인 방식의 추출법이 필요
  
• 자동추출(automatic extraction)과 영원한 학습(never-ending learning) 방식이 있음.
  
• automatic extraction
  • 웹 콘텐츠에서 자동으로 추출한 정보와 기존 지식 기반의 지식을 결합해 새로운 그래프를 생성(Knowledge Vault)
    
• NeverEndingLearning
  • 매일 웹 콘텐츠에서 추출된 지식으로 학습하여 성능을 점진적으로 향상시킴
    
• 생성형 인공지능의 등장으로 인해, 자동으로 정보를 추출하고 이를 지속적으로 그래프로 구축할 수 있는 가능성이 열리게 됨.
  

3.4 Event Extraction

• 이벤트 추출은 반구조화되거나 비구조화된 데이터로부터 이벤트와 관련된 데이터를 식별하는 테스크
  
• 이벤트에 대한 인자를 식별하는 트리거 워드를 식별하고, 이들을 연관시켜 일관적으로 사건을 표현하는 과정을 포함함.
  
• Trigger : 이벤트 추출의 핵심적인 속성으로, 사건 발생을 알리는 단어나 구를 식별함. 트리거 식별은 규칙기반 방식이나 머신러닝 기법, 또는 두 기법의 혼합을 통해 접근할 수 있음
  
• Event Argument : 사건에 관여하는 실체나 개념을 지칭. 이벤트 인자를 식별하는 방법은 구문 분석이나 의미적 역할 라벨링, 그리고 엔티티식별 기술 등을 활용할 수 있음.
  
• Time Mining : 시계열 데이터에서 의미있는 정보와 지식을 추출해내는 것. 자연재해, 교통사고나 주식시장 흐름과 같은 시계열 구성 데이터에 적용
  

• Neural Network based Method

  • 사건 추출 문제 해결을 위해 RNN, CNN 등의 신경망 모델을 활용.
    
  • R. Ghaeini et el. : 사건 트리거 단어 감지를 위해 RNN + 포워드-백워드 구조
    
  • Ghaenin el al : 사건트리거 표현 위해 스킵그램 모델 도입, 사건 감지를 위해 CNN 활용
    
  • GCN(Graph Convolution Network)를 활용하기도 하며, 최근에는 조건부 마르코프 신경 논리 네트워크를 이용해 사건의 인과를 표현하고, 인과 추론 능력 향상을 위해 지식그래프를 통합시킴.
    
• Large Language Model based Method
  • 언어모델의 맥락정보 포착 능력을 활용해 이벤트 추출 프로세스 성능 개선
    
  • 프롬프팅 기법을 활용하여 이벤트 추출 능력 향상시키려는 시도도 있음
    
  • Tang el al. : 다중 과제 학습 접근법. 이벤트 분류기와 설명 디코더를 동시에 훈련시킴
    
  • KiPT : 지식이 주입된 프롬프트 튜닝 방식으로 훈련. 모델 프롬프트에 연관 지식을 탐지할 것을 기재할 뿐 아니라 외부 지식 소스를 활용하도록 함.
    
  • Data Scarcity : 언어 모델의 일반화와 이해 능력을 활용해 낮은 자원으로 사건을 추출 하고자 하는 시도 이어짐. 사건추출을 위한 학습데이터 제작은 사건의 트리거, 인자, 속성을 식별하고 이를 연결하는 과정을 포함하므로 상당한 도메인 전문지식을 요구하며, 굉장히 시간과 비용이 많이 소모됨. -> 이에 transfer learning이나 데이터 증강(학습데이터를 인공적으로 증강시킴), 약한 감시(휴리스틱하거나 패턴을 사용해 데이터를 자동으로 레이블), few-shot learning 방식 등이 시도됨.
    

3.5 Rule Extraction

• 규칙 추출은 주어진 데이터세트나 지식그래프에서 규칙의 형태로 유용한 지식을 추출하는 과정
  
• 지식그래프의 패턴과 규칙성을 설명하는 논리적 규칙을 발견하는 작업임.
  
• 추출된 규칙으로 하여금 설명 가능한 방식으로 새로운 지식을 도출하고, 기존의 KG를 완성시킬 수 있음.
  
• 딥러닝 모델의 패턴과 유사한 지점이 있지만, 규칙은 근본적으로 인간이 쉽게 해석하고 이해할 수 있는 명시적인 symbolic knowledge임.
  
• 이러한 규칙 추출을 위해 대체로 신경망 사용하는 방식. AMIE의 경우 온톨로지적 지식 기반으로부터 연관 규칙을 발굴하는데 중점을 두었음. RLogic은 논리 규칙을 재귀적으로 학습시키기 위해 귀납적 논리 추론을 활용함.
  

4. Knowledge Reasoning

• 한정된 데이터에서 지식의 모든 스펙트럼을 추출하는 것은 불가능함. 따라서 KG 추론을 통해 나타나지 않는 엔티티와 관계 정보를 추론할 수 있어야 함.
  
• KGR은 구조화된 KG를 사용해 다운스트림 테스크를 향상시킴.
  
• 초기의 KGR은 SKRG로 시작. 이로부터 DKGR, TKGR이 제안됨.
  

4.1 Static Knowledge Graph Reasoning (SKGR)

• SKG는 엔티티 집합, 그리고 엔티티집합에 존재하는 엔티티간의 관계와 ,쿼리된 엔티티-관계-엔티티 쌍을 캡슐화 하는 사실정보로 구성.
  
• Matrix Decomposition-based Method
  • 지식그래프의 인접행렬이나 기타 관련 행렬을 분해(고윳값 분해) 함으로써 엔티티와 관계를 저차원 잠재 공간에 표현 -> 유사성의 계산이나 관계 예측을 가능케 함.
    • (?) 아마도 그래프를 벡터화하는 경우에 적용하는듯. 아이겐벡터를 찾는 방식인가? -> (고유값 분해하여 엔티티 벡터와 릴레이션 벡터로 분해하는 식의)
      
  • RESCAL
    • 기본적인 고윳값분해 기법을 기반으로 함. 3차원 텐서로 멀티릴레이셔널 데이터를 표현
      • 예측점수를 고윳값 분해로 계산(각 엔티티의 임베딩 벡터와 릴레이션 메트릭스의 곱으로 계산) (연관자료)
        
      • Knowledge Embedding을 위한 기본적인 함수?라고 하는듯
        
      • 하지만 RESCAL의 계산 복잡도가  매우 높다는 문제가 있음. (각 릴레이션마다 n*n 파라미터를 계산해야하므로)
        
  • DisMult
    • RESCAL의 복잡도 문제 해결하기 위해 제안됨. -> 계산해야할 파라미터 수를 줄임(n*n 파라미터를 대각행렬화)
      
  • ComplEx
    • 복소수 값을 갖는 임베딩을 사용해 엔티티와 관계를 나타내어 RESCAL을 확장.
      
    • RESCAL, DisMult 모두 S, O를 구분시켜 내적 연산 수행-> 비대칭 관계를 다루므로 파라미터 폭발, 복잡도 증가. 이에 반해 ComplEx는 S, O를 구분하지 않고 임베딩. 비대칭 행렬에 대한 분해 대신 임베딩 표현을 복소수 영역까지 확장시킴
      
    • 이에 따라 Scoring Function은 릴레이션을 시그모이드 함수로 구할 수 있음.
      
  • SimpLE
    • 엔티티 쌍 간의 관계 모델링을 위해 간단한 이차선형식을 사용.
      
    • 모델에 역 관계를 통합해 대칭적, 비대칭적 관계를 학습할 수 있도록 함.
  • 이처럼 행렬 분해 방식은 정적 지식 추론 모델링에서 잠재 의미, 패턴 포착에 이점이 있음. 저차원의 잠재 공간에서의 엔티티와 관계의 표현을 통해 유사성, 관계 예측의 효율적 계산이 가능하나 확장성, 희소성 처리 측면에서 한계가 있음. 또한 지식 그래프의 규모가 매우 커지거나 복잡한 관계 구조를 갖는 경우에는 적용하기 어렵다는 한계가 있음.
    

• Translation-based Method

  • Translation based method는 엔티티와 관계를 계속적인 공간(continuous space)에서의 벡터로 표현하고, 관계 벡터를 따라 엔티티 벡터를 변환하는 방식으로 추론이 진행되는 방식임.
    
  • 약간 Gradient Descent 같은 느낌. header entity 벡터와 tail entity 벡터의 거리값을 오차로 놓고 목적함수 정의하는 것으로 보임.
    
  • TransE
    • 실제 트리플에 대해 헤드 엔티티와 관계를 더한 값과 테일 엔티티의 거리를 최소화 하는 방향으로 엔티티와 관계 임베딩을 학습하는 고전적인 알고리즘.
      
    • 식이 매우 간단하고 계산효율적이라는 장점이 있어 지식그래프 추론 테스크에서 가장 자주 채택되는 방식이지만, 1-to-many, many-to-many와 같이 복잡한 관계에 대한 추론이 어려움
      
  • TransH
    • 관계 벡터의 변환 전 엔티티를 특정 관계를 표현하는 초평면에 투영시키는 방법으로 TransE를 확장하는 방식임.
      
  • TransR
    • 엔티티, 관계에 대한 공간에 대해 별도로 학습하여 TransE, TransH 성능 개선
      
  • RotatE
    • 복소수 임베딩을 사용하고 릴레이션 벡터를 회전변환하여 TransE 확장. head, tail 엔티티 벡터의 각거리로 score 구함.
      
  • 이러한 방법들은 간단하고, 계산 효율적이며, 확장성이 있고, 광범위한 분야에서 적용이 가능하다는 장점이 있으나 관계가 복잡해지거나, 데이터가 불완전하고 노이즈가 껴있으면 모델링이 어렵다는 한계가 있음.
    
• GNN-based Method
  • 인접 노드로부터 정보를 얻고 통합하는 방식. 로컬 그래프 구조와 복잡한 관계를 효과적으로 포착할 수 있음
    
  • 한편 GNN 자체의 한계도 갖고있음(확장성, 기울기소실, 계산복잡도, 파라미터 튜닝)
    
• Large Language Model based Method
  • 사전훈련 과정에서 사실에 대한 데이터를 얻고 저장할 수 있다는데서 잠재성이 있음.
    
  • 대체로 트리플을 일관된 텍스트 시퀀스로 변환해서 LLM을 활용해 추론 작업을 수행하는 식으로 진행됨.
    
  • 언어모델과 지식그래프를 결합하여 지식그래프 추론에 활용할 수 있고, 의미 정보를 보다 풍부히 할 수 있으며 사전 훈련된 지식을 활용할 수 있다는 장점이 있으나
    
  • 확장성과 메모리 제한, 계산 복잡성 및 프롬프트 설계에 관한 문제가 존재.
    
• Neural-Symbolic Method
  • 앞서 설명한 방식은 모두 신경망 모델에 기반하는데, 신경망 모델의 근본적 한계가 해석가능성이 떨어지고 신뢰성이 안정적이지 않다는 것-> 따라서 높은 신뢰성 요구하는 분야에 적용 어려움
    
  • 따라서 최근에는 신경망과 기호적 방식의 지식 추론을 결합하고자 하는 시도가 이뤄짐
    
  • Symbolic-Driven
    • Symbolic 에 대한 추론은 신경망의 학습 과정을 향상시키기 위한 가이드 역할
      
    • 추론 과정에 논리 규칙에 의한 제약을 주어 해석가능하고 복잡한 추론을 가능케 하는 방식
      
  • Neural-Driven
    • 논리 규칙을 도출하는 것이 목표로, 신경망이 데이터의 불확실성과 모호성 처리하여 심볼릭 추론에서의 검색 범위를 줄임.
      
  • 구현복잡성, 품질 민감성과 같은 문제가 있으며, 다른 방법들과 마찬가지로 확장성과 계산복잡성 문제도 안고 있음.
    

4.2 Dynamic Knowledge Graph Reasoning

• SKGR은 닫힌세계 가정을 기반으로 함. 따라서 추론 모델이 고정된 엔티티와 관계 세트로 설계됨 -> 계속해서 변화하는 실시간 데이터에 대한 추론이 어려움.
  

• 동적 지식그래프 추론은 새로운 엔티티와 관계를 다루는 것이 목표로, 새로 추가되는 엔티티나 관계에 따라 기존의 엔티티와 관계에 영향을 미칠 수 있음. 또한 새로운 엔티티와 기존 엔티티와의 관계 추론도 포함함.
  

• (?) DKG의 변화로 말미암아 자주 보이지 않는 개체와 관계는 롱테일일 확률이 있음(즉, 자주 변경되는 부분만 변경되고, 나머지 부분은 거의 변화하지 않음) . 따라서 제한된 훈련 사례들로 보이지 않는 개체, 관계들을 충분히 학습시킬 수 없음. 그러므로 few-shot kgr은 보이지 않는 관계도 추론할 수 있는 일반화 능력을 향상시키는 것이 목표임.
  

• GNN-Based Method

  • GNN 기반의 DKG는 DKG의 풍부한 구조 정보를 통해 전이 가능한 지식을 포착하고, 포착한 지식을 새로운 괘체와 관계로 전이시켜 귀납적인 링크(inductive link) 예측과 같은 신뢰할 수 있는 표현을 얻을 수 있음

    1. Inductive Ability Provided by Structure of Graph : 그래프 구조에 의해 제공되는 귀납적 능력 : GraIL의 경우 엔티티와는 독립적인 관계적 의미론을 학습하고 GNN으로 노드의 표현을 집계. 벤치마크 역시 지식그래프에서 분리된 샘플 서브그래프에 대한 예측을 평가. 뒤따라 제안된 CoMPILE은 방향성을 추가적으로 고려. 하지만 이 둘의 접근방식은 하나의 트리플에 대해 한 개의 서브 그래프를 생성해야 하므로 병목현상을 유발시킴. INDIGO는 노드에 주석을 부여한 그래프를 구성하여 노드 차원이 입력된 KG에 의존하지 않도록 함.
    2. Inductive Ability Provided by Relation Rules : 룰마이닝은 지식그래프에서 빈번한 패턴으로 나타나는 동시출현을 활용해 논리 규칙을 정함. PathCon은 노드가 이웃 엣지로부터 메시지를 일시적으로 저장함.
    3. Inductive Ability Provided by Embedding Aggregator : GNN을 embedding aggregator로 사용함. ROLAND는 서로 다른 GNN 레이어에서의 노드 임베딩을 계층적 노드 상태로 보고 재귀적으로 업데이트하여 정적 GNN을 동적 그래프로 쉽게 전환시키고자 함.
    4. Inductive Ability Provided by Meta-Learning : 서포트 트리플과 쿼리 트리플로 구성된 일련의 작업을 수행하도록 하였고, 각 작업에서는 보이지 않는 구성요소를 임베딩하기 위해 GNN을 사용함. 즉 특정 작업을 수행토록 하기 위해 노드를 훈련시킴

  • GNN 기반의 방법은 인코더-디코더 프레임워크를 채택하며, 연결 구조를 활용해 새로운 개체, 관계를 생성한다. GNN은 DKG에 대한 설명가능성을 제공하고 확장성이 있으며, 각종 분야에서의 응용에 적합하다는 장점이 있음

  • 하지만 GNN 자체의 한계로 인해 계산복잡성, 기울기소실과 같은 문제가 발생할 수 있음.
    

• LLM-Based Method

  • KG에 특정 지식을 LLM의 귀납적 능력에 통합하는 방법을 연구. 데이터 중심 방식에서 지식 중심 방식으로 전환을 시도
    
  • Triple Level Method : LLM 등장 이전 CBOW와 같은 모델을 활용해 엔티티에 대한 설명의 우도를 최대화 하는 방법 사용
    
  • Path Level Method : BERT를 활용해 DKG의 규칙을 발굴하고자 함. 이렇게 발굴된 규칙은 기호규칙보다는 자연어의 형식을 취함. Bi-Link의 경우, BERT를 통해 학습된 구문 패턴에 따라 관계적 프롬프트를 검색하고, 링크 예측을 위해 확률적인 구문 프롬프트를 생성
    
  • 사전훈련된 언어모델은 KG의 사실적 지식을 복구할 수 있으며, 객체와 관계를 자연어 형태로 변환.
    
  • 다만 GPU 메모리의 한계에 봉착할 수 있고, LLM 자체의 정적인 특성(사전훈련후 업데이트가 안됨)이 동적 지식그래프의 실시간 업데이트와 같은 동적 특성에 부합하지 않을 수 있음.
    

• Few-Shot Knowledge Graph Reasoning

  • 사전훈련된 전체 모델의 지식을 활용하기보다는 소수의 학습한 지식을 전이시키고 적용하는 방식.
    
  • The Original Proposal of Few-shot Learning
    • GMatching(One-shot)은 목표트리플을 위한 유사 트리플을 발견하기 위해 매핑 매트릭스를 학습함. 한번 학습하면 파인튜닝 없이도 어떠한 새로운 관계에도 적용이 가능함.
      
    • ZS-GAN은  대립적인 학습 목표를 설정해 텍스트 설명에서 텍스트에 대한 범주 표현을 생성함.
      
    • FSRL은 보다 실용적인 시나리오에 더 적합한 소수의 샘플을 참조하도록 함. (few-shot) 어텐션 매커니즘에 기반한 그래프 구조 인코더를 사용하며, LSTM을 기반으로 few-shot 참조 집합을 집계함. FAAN은 KG의 완성에서 처음으로 동적 속성을 제안하였으며. 다양한 작업에서의 동적인 엔티티 표현을 위한 적응형 어텐션 네트워크를 설계함.
      
  • Meta-learning-based Few-shot Learning Methods
    • 메타 학습은 few-shot 설정에서 전이 가능한 특수한 관계 메타 정보를 포착하는 것을 목표로 함. 새로운 관계는 보통 적은 링크를 가지는 특성이 있어, 동적 지식그래프에 적합한 방법임.
      
    • 관계벡터와 관계벡터에 대한 기울기 벡터를 갱신시켜 새로운 관계벡터를 예측하는 방식
      
  • New Proposed Few-shot Learning Methods
    • Few-Shot 방식을 보조하는 다양한 방식들이 제안 -> GEN(지원 집합에서 지식 추출하는 유도학습 모듈 사용, 이를 활용해 전이 학습 모듈에서 보이지 않는 엔티티의 상호 관계 고려), P-INT(두 개의 Few-shot 엔티티 관계 표현할 수 있는 관계를 인코딩, 이 관계를 통해 경로에서의 상호작용 계산),ADG-KG(사전훈련된 엔티티, 관계 임베딩 사용해 매개변수 최적화 하여 few-shot relation에 빠르게 적용), REFORM(오류완화 모듈 제안), GMUC(가우시안 행렬 학습을 통해 불확실한 의미정보 포착)
      
  • Few-shot DKG는 데이터 한계를 어느정도 해결하나, 동적 특성이 아직 연구되지 않음.
    

4.3 Temporal Knowledge Graph Reasoning

• TKG는 지식그래프에 시간 지식을 포함함.
  

• Temporal Knowledge Graph Completion

  • 시간 정보를 이해하고, 이것을 지식그래프의 의미적, 구조적 정보에 통합시키는 것을 목표로 함.
    

  • tensor based completion method

    • 텐서 기반의 방식은 전체 지식그래프의 진화 양상 자체를 학습함.
      
    • TKG는 행렬, 또는 고차원 텐서의 시퀀스로 모델링됨. 대표적으로 CP 분해방식과 터커 분해방식을 사용.
      • CP분해 : 독립적인 factor의 합으로 구성하여, factor간 상관관계 무시
        
      • Tucker 분해 : Core Tensor를 통해서 Factor간의 상관관계를 고려(참고)
        

  • Translation-based Completion Methods

    • 엔티티, 관계, 시간 정보의 표현은 지식그래프의 스냅샷으로부터 분해되지않고 벡터나 다른 표현을 형태로서 학습됨.
      

    • 명시적으로 표현된 시간 정보로 추론 vs 암묵적으로 표현된 시간정보로 추론

      • 명시적으로 표현된 시간 정보로 추론 :

        • 시간 정보를 시간 전이 행렬, 임베딩된 벡터, 또는 시간 맵핑 행렬의 형태로 표현.
        • 시간 표현은 개체, 관계 표현과는 독립적이며 거시적 수준에서 각 스냅샷의 진화 정보를 나타냄. 엔티티, 관계의 표현은 정적으로 시간 정보와는 독립적임
        • TAE(사건인식임베딩): 시간행렬 사용해 관계의 시간 정보 통합하고, 시간 정보를 포함하는 관계  표현 학습.
        • HyTE : (즉, 시간에 대한 초평면 벡터를 사용하는 방식 - 개체, 관계 벡터는 고정) (? 아마도 TKG 전체 벡터에 대해서 아이겐벡터 구하는 방식인듯..?)
        • TeRo : 엔티티, 시간 벡터의 허미티안 내적을 복소 벡터 공간에서의 회전으로 정의. 엔티티의 변화과정을 반영하여 서로 다른 순간의 엔티티 표현을 제시
        • TOKEI: 계층적 시간 행렬 설계(시-분-초)
        • TeLM: 다른 방법론들이 시간정보간 상관관계 무시. 이를 해결하기 위해 손실함수에 시간평활화 매커니즘을 도입해 인접순간의 표현 변화가 시간적 상관관계를 반영하도록 함. (평활화 - 시계열 데이터를 평탄화함. )

      • 암묵적으로 표현된 시간 정보로 추론

        • 시간에 따른 개체, 관계의 변화를 함수로 모델링하여 각 순간마다 각 개체의 변화 추세를 반영
        • 시간정보는 개체, 관계의 표현에 포함됨 - 즉 시간 벡터 자체를 분해하는 것이 아니라 각 엔티티나 관계에 시간정보를 부여시키고, 시간 정보를 반영할 수 있는 함수를 사용하는 것.

    • Temporal Knowledge Graph Prediction

      • TKG의 역사적 정보의 변화 패턴을 학습해 미래 패턴을 예측하는 것이 목표.
        

      • Path-Based prediction methods

        • 샘플링 된 시간제약 랜덤워크 경로는 엔티티간의 다중 홉 규칙으로 볼 수 있음 -> 이를 통해 추론 규칙 탐색. 그래프 내의 시간적 경로가 지식의 변화 규칙을 반영한다고 봄.
          
        • 샘플링된 시간 경로에서 추론 규칙을 추출하기 위해서는 경로 정보에 시간 정보를 인코딩해야 함.
          

      • Temporal Point Process-based Prediction Methods

        • 미래 사건에 대한 예측을 위해 확률적 방법을 도입
          
        • 엔티티간의 관계의 출현, 또는 사라짐을 사건의 연속처럼 다루며, 사건이 발생할 확률은 관련된 엔티티의 특성에 따라 달라짐.
          
        • 예상 존재 확률값은 조건부 강도 함수(conditional intensity probability)와 생존함수(survival function)의 곱으로 표현됨.
          
        • 데이터 중심의 접근 방식에서 미리 정의된 조건부 강도 함수를 사용하지 않고 지식그래프의 변화를 효과적으로 학습시키기 위해 neural-temporal point process가 새로운 TPP기반 예측 방법으로 떠오름 (참고) -> 즉 새로운 목적함수를 데이터로부터 도출시키는 것. 기댓값이 최대가 되는 point를 찾는 것.
        • TDIG, EvoKG -> 그래프 신경망과 게이트 순환 신경망을 활용해 TPP 모델링.
          

      • Sequence Neural Network-based Prediction Methods

        • 스냅샷인코더, 시간 인코더로 구성. 스냅샷 인코더는 스냅샷 시퀀스에서 서로 다른 시간에서의 엔티티 표현을 추출. 시간 인코더는 추출된 스냅샷 표현을 통합해 이로부터 개체의 변화 정보를 학습함.
          • 시간 인코더는 RNN기반과 셀프어텐션 기반으로 나뉨
            • RNN기반 : RECGN(관계 인식 그래프 합성곱 신경망 사용), CEN(시계열 패턴의 길이 다양성과 시간 변동성 고려), HiSMatch(관계인식 그래프 + 재귀 신경망 사용해 쿼리와 관련된 그래프 시퀀스와 엔티티 관련 그래프 시퀀스 구별). RNN 기반 시간 인코더는 시간 정보의 길이가 길어질 경우 망각 문제가 발생할 수 있으며 다단계의 예측 작업에서의 성능이 저조함. (RNN 자체의 근본적 기울기 소실문제)
              
            • 셀프어텐션기반 : RNN에서 발견되는 망각 문제는 어느정도 완화함. 구조적 셀프어텐션 기법은 각 스냅샷에서의 엔티티 이웃으로부터 특징 추출하고, 가중치로 집계. 이에 반해 시간적 셀프어텐션 매커니즘은 유연하게 복수의 타임스탬프에서의 역사적 엔티티의  변환 법칙을 포착함.
              

5. Applications

• 지식그래프는 인간과 기계가 모두 이해할 수 있는 방식으로 구조화된 정보를 캡슐화함. 따라서 다양한 분야에서의 실용적 활용이 가능함.
  
• 또한 LLM과의 원활한 통합으로 인해 응용을 확장시킴.
  

5.1 Application in Finance

• 지식추출, 지식추론, KG와 LLM을 결합한 지능형 QA로의 활용
  
• Financial Information Extraction and Knowledge Graph Construction
  • 재무 관련 문서나 보고서, 경제 뉴스, 보고서 및 논문들로부터 정보를 추출해 재무 지식그래프의 업데이트에 활용
    
• Financial Knowledge Reasoning
  • 재무 지식그래프가 구축된 이후에는 그래프 기반 데이터마이닝 알고리즘이 새로운 지식을 추론하는데 활용될 수 있음.
    
  • 예-이벤트 기반 정량 투자. 투자 전략이 지식그래프에서 식별된 관계와 패턴을 기반으로 세워짐.
    
  • 사건과 관련된 주식과의 연결을 조사해 시스템이 결과를 예측하고 위험을 평가하거나 멀티홉 추론을 통해 동종 산업 내 주식 간의 위험 전파 분석이 가능. 또한 특정 주식에 대한 포지션(숏 칠건지 말건지) 결정하는데도 유용.
    
• Integration with LLMs for Financial QA
  • KG를 llm에 결합하여 재무 분야에 특화된 QA 시스템으로 활용할 수도 있음.
    
• 종합하면 금융분야에서 KG 활용하면 정보 추출 간소화 , 정교한 지식 추론이 가능하며 정보에 기반한 의사결정을 가능하게 하고 복잡한 금융 생태계에 대한 이해를 도울 수 있음. -> 즉 도메인의 엔티티와 개념, 관계가 복잡하고 긴밀하게 연결되어 있는 분야에서 지식그래프 도입 효용성 크다..!
  

5.2 Other Applications

• 이 외에도 헬스케어, 운송(배달경로, 교통상황 등등), 제조업(생산 체인 관리, 품질 관리 등), 법(판례와 법 간의 관계 분석), 개인화 서비스(소셜 지식그래프를 통해 유저의 인지와 성향 모델링, 이를 통한 개인화된 서비스 제공)
  
• LLM과 같은 기술과 결합되었을 때 활용 범위가 더더욱 넓어질 것으로 기대됨
  

6. The Future Directions of Knowledge Engineering

6.1 On the Evolution of Knowledge Representation

• 현재 KG가 갖는 근본적 표현의 한계가 있음
  

1. 고차 논리 지식을 직접적이고 정확히 모델링하고 이것을 고차 지식 추론에 적용할 수 없음
2. KG를 통한 수치형 지식을 처리하고 계산하는 것이 비효율적
3. 관리적 측면에서, 조합적 폭발(?)과 중복 구성을 효과적으로 피하면서비즈니스 룰에 의한 반복을 지원하는 표현이 요구되나, 이러한 특성은다양한 수준의 세분화, 유형을 갖는 분야의 지식을 통합하는 기존의 KG와는 배치되는 특성임. 또한 RDF, OWL 기반의 모델링은 복잡성이 너무 크며 빠르게 진화하는 시나리오상에서 중복성이 커질 수 있다는 문제가 있음.
4. 매개변수를 통해 지식을 저장하고 추론하는 LLM과 달리, 기존의 지식그래프의 저장-추론  분리는 이 둘을 통합하는 통일된 프레임워크가 결여되어 있어 지식 활용의 극대화가 어려움

• 이러한 한계점들을 극복하려면 지식표현에서의 새로운 패러다임이 필요함. 프로그래밍언어를 통해 지식을 표현하는 분야인 지식 프로그래머빌리티는 추가적 탐구가 필요한 잠재적 분야로 떠오르고 있음.
  

6.2 On the Evolution of Knowledge Extraction

• 현재까지 대부분의 지식 추출 방법은 대량의 레이블이 있는 학습 데이터를 이용하는 감독 학습 모델이나, 구축 비용을 줄이기 위해선 제로샷, 비감독 지식 추출 방법으로 나아가야함
  
• From Supervised to Zero-Shot/Unsupervised Knowledge Extraction
  • LLM 모델은 레이블 없는 데이터의 경우에도 학습이 가능하다고 인식됨. 그러나, 그럼에도 불구하고 생성형 모델은 여전히 완전 감독 학습을 거쳤을 때 가장 성능이 높음.  이는 지식 추출 테스크는 레이블링을 수행하는 테스크이기 때문.
    
  • 따라서 다양한 유형의 지식 추출 작업을 생성 작업으로 변환하고, 이를 생성형 인공지능을 사용하여 해결할 수 있도록 해야 함.
    
• Potential Direction of Knowledge Quality Control and Maintenance
  • 지식 공학에서 품질 제어와 유지는 중요하며,  추출된 지식의 완전성과 정확성을 보장하기 매우 어려워 현실세계에서의 적용에 어려움이 있음.
    
  • 이를 LLM의  매겨변수화된 지식을 활용해 KG의 품질관리 및 유지관리를 비지도 방식으로 수행할 수 있을 것으로 보임.
    

6.3 On the Evolution of Knowledge Reasoning

• 기존 지식 추론 기술은 대체로 SKG 위주고, DKG, TKG가 주목받음에 따라 이에 대한 추론 기술도 주목을 받고 있으나 아직 EKG에 대한 추론은 많이 연구되지 않음. Neuro-symboplic 지식 추론도 아직 탐구중인 분야
  
• Neural-Symbolic Knowledge Reasoning?
  
• Non-Static Knowledge Graph Reasoning
  • DKG, TKG에 대한 지식 추론도 여전히 초기 단계이며, 시간적 지식 보완과 외삽이 주목할만한 노력이라 볼 수 있음.
    
  • 향후 연구는 시간에 따른 그래프의 변화 규칙에 관한 논리를 풀어내는 것.
    
  • 이는 특히 정적이지 않은 지식그래프의 추론 프레임워크를 풍부하게 할 것으로 기대됨
    
• Event Knowledge Graph Reasoning
  • EKG의 추론은 엔티티와 사건간의 기존 관계를 기반으로 미래의 잠재적 사건을 예측할 것임.
    
  • ‘이벤트’는 이전에 논의된 적 없는 새로운 종류의 지식요소로, 아직까지 이를 임베딩할 모델을 개발하는 방법에 대해서는 이전 연구에서 논의된 바가 없음
    
  • EKG가 이벤트간의 많은 논리적 관계와 설명을 포함하고 있으므로, 이벤트 논리와 LLM을 활용한 EKGR 작업이 연구될 수 있을것.
    
  • EKGR의 실질적 구현을 위해서는
    • 1. EKG 임베딩 모델의 개발,
      
    • 2. 지속적으로 증가하는 이벤트 정보와 유입을 처리하기 위한 적절한 데이터 구조와 저장 기술,
      
    • 3. 어플리케이션의 실시간성 반영 가능 - EKGR 알고리즘의 실행 속도 향상 위한 알고리즘적, 공학적 문제 해결 필요 이 필요함.
      
• From Neural or Symbolic to Neural-Symbolic Knowledge Reasoning
  • 최근의 신경망/기호학적 추론에서의 진전은 다양한 지식 그래프에서의 추론 눙력을 향상에서 신경망의 데이터 기반 학습과 상징적 추론의 구조화된 논리를 강조함.
    
  • 사건과 관계간의 시간적, 일차 논리 규칙(first-order logical rule ; 술어논리?)의 적용과 지식그래프의 임베딩 모델이 결합되면 모델의 성능과 해석 가능성을 크게 향상시킬 수 있음.
    

6.4 Potential Combinations of KGs and LLMs

• LLM 과 지식그래프는 지식 표현의 상반된 패러다임을 나타냄. 지식그래프는 가장 표상적인(representative), 상징적인 지식 형태로, 구조화된 정보를 통해 해석가능성을 부여하나, 유연성이 떨어짐.
  
• 이와 반대로, LLM은 가장 강력한 매개변수 지식 형태로, 생성력과 적응력이 뛰어나고, 다양한 작업을 처리할 수 있지만 의사 결정과정이 불투명하다는 특성이 있음.
  
• 유사점 :
  • 둘의 데이터 소스 모두 많은 양의 비정형 데이터이며, 엔티티의 의미론을 표현할 수 있으며 엔티티간의 관계를 저장함. 또한 다운스트림 적용에서 지식 소스로 활용할 수도 있음.
    
  • 둘 다 공중에 개방된 텍스트 데이터를 이용해 학습함.
    
• 차이점
  • 높은 구축 비용 : 지식그래프는 NLP 기술 뿐 아니라 지식의 정확성을 보장하기 위한 품질 테스트도 필요. 구축 뿐만 아니라 유지 관리에도 많은 인적 자원이 필요
    
  • 데이터 희소성 : 구축에 높은 인건비가 드는 만큼, KG가 다루는 도메인이 제한되며, 이떄문에 누락데이터가 발생
    
  • 유연성 결여 : KG의 저장 구조와 쿼리 방법은 제한되어 있고 이것을 다양한 데이터 구조와 쿼리 요건에 맞추기 어려움.
    
• KG와 LLM의 비교
  • LLM vs SKG : LLM은 훈련과정에서 잘못되거나 유독한 지식을 학습할 수 있음. SKG는 지식의 신뢰성을 보장할 수 있고 설명 가능성을 향상할 수 있다는 장점이 있으나  확장성과 유연성 떨어짐
    
  • LLM vs DKG : 사전학습 모델은 정보의 최신성이 떨어진다는 문제 있으며, 제한된 편집가능성(editability)를 가지고 있음.  이에 반해 DKG는 상대적으로 적은 비용으로 업데이트가 가능함.
    
  • LLM vs TKG : LLM이 시계열 데이터를 다룰 때 3가지 문제가 있음. 1. 시간 범위 내에서 충돌하는 지식과 같은 정보의 평균내기(averaging)이 어려움, 2. LLM은 특정 기간동안의 유효한 사실 정보를 망각할 가능성이 있음. 3. LLM은 시간 교정(calibration)이 떨어짐. 즉, 과거에 훈련된 모델은 최신 정보에 대한 질문을 받았을 때, 이들 지식의 시간적 범위를 초과하게 됨. 이는 시간-민감성을 가진 TKG와는 상반되는 특성.
    
  • LLM vs EKG : LLM은 이벤트 중심의 테스크 수행에 여전히 어려움을 겪고 있음. 즉, 사건 간의 시간적 관계를 효과적으로 포착하기 어려움. 이는 LLM이 시간과 사건의 관계를 설명하는 구조화된 데이터로 훈련되지 않았기 떄문임.  또한 이벤트 중심의 지식은 시간에 민감한 특성을 갖는데, 이는 업데이팅이 쉽지 않은 LLM의 특성상 다루기 어려움.
    
  • --> KG와 LLM은 상호보완적으로 서로의 한계를 해결할 수 있다..
    
• LLM과 다양한 KG들의 조합
  • KG 구축에 LLM 보조 - LLM의 텍스트 처리능력을 활용해 구축과정에서 KG가 효율적으로 비감독 지식 추출을 수행할 수 있도록 함. 또한 지식 추출 과정에서 LLM의 패턴 추론 능력을 활용할 수도 있음.
    
  • 지식 중심의 LLM : KG가 사실적, 논리적 지식을 저장하는 레포지터리 역할을 수행. 훈련 과정에서 그래프 신경망을 활용하는 등의 방법. (그래프 어댑터?)
    

7. Conclusion

• KG 기술이 출현한 이후부터 KG의 형태는 점차 변화하고 있으며, 지식 추출과 추론과 같은 KG관련 기술도 KG 형태 변화와 함께 발전하였음.