# Knowledge graph completion

hmym7308

1. Introduction 저자들은 Knowledge graph completion을 하는 method들이 아래와 같은 필요 조건들을 만족해야 좋은 모델이라고 말하고 있다. scalablility : have model size and inference time independent of the number of entities quality : reach good empirical performance versatility : be applicable for multiple tasks such as KGC and QA simplicity : consist of a single module with a standard architecture and training pipeline 저

hmym7308

1. Overview mainly target Link Prediction Propose new model named GenKGC Convert link prediction to sequence to sequence generation. Use pretrained lanuage model (BART) to generate target entity. Propose relation guided demonstration and entity-aware hierarchical decoding. Release new large scale chinese KG dataset, OpenBG500. 2. Method 1) Link Prediction as Seq2S

hmym7308

1. Problem Pretrained language Models을 기반으로 하는 Knowledge graph completion Models에 대한 많은 연구가 이어져 오고 있다. 하지만 기존 연구에는 다음과 같은 문제점들이 존재한다. > 1) Inaccurage evaluation setting > 2) Inappropriage utilization of PLMs. The evaluation setting unser the closed world assumption (CWA) may underestimate the PLM-based KGCmodels since they introduce more external knowledge. Most PLM-based KGC models simp

hmym7308

key word : Knowledge graph completion, contrastive learning, bi-encoder, BERT 1. Introduction Knowledge graph completion 분야에서는 최근들어 Knowledge graph의 각 entity에 대한 text description 정보를 활용하여 prediction을 진행하는 방향으로 연구가 활발하게 진행되고 있다. BERT와 같은 Pre-trained large language model을 함께 사용하므로서 Knowledge graph completion에 풍부한 text정보를 추가적으로 사용할 수 있도록 하였다. 하지만 모델 퍼포먼스를 살펴보면 기존의 graph embedding based methods(Rot

hmym7308

1. Introduction pure graph 와 다르게 knowledge graph(KG)는 여러개의 노드 타입으로 구성된 Heterogeneous graph 이다. 따라서 Transformer architecture가 KG modeling에 적합한지 여부는 아직 풀리지 않은 문제다. 구체적으로, Transformer architecture를 그대로 KG에 적용하는 것에는 두 가지의 nontrivial challenges가 존재한다. >* 1. Heterogeneity for edges and nodes* KG는 여러 타입의 edge와 node가 존재한다. 그리고 각각의 노드는 서로 다른 topological strucre와 textual descriptions을 갖는다. 그러나 vanill

hmym7308

1. Introduction Knowledge Graph Knowledge Graph(지식 그래프)에서는 위의 그림과 같이 Entity(ex.Sunnyvale)와 Relation(ex.country)로 이루어져 있다. 지식 그래프는 subject entity(=head entity), predicate(=relation), object entity(=tail entity)의 관계로 표현할 수 있다. > $G$ = {($es, rp, e_o$)} 보통 지식그래프는 subject entity 혹은 object entity가 무엇인지 모르는 불완전한 형태이며 이것을 예측하는 작업을 Link prediction이라 한다. Link Prediction Link prediction은

hmym7308

PDF : https://arxiv.org/pdf/1906.05317.pdf Problem > ### Difference between conventional KBs and commonsense knowledge 정해진 형식(two entities with a known relation)이 있는 전통적인 knowledge base와 다르게 commonsense knowledge는 느슨하게 구조화된 open-text description of kenowledge 이다. > ### How can we develop generative models of commonsense knowledge? 인간의 상식 추론 능력을 기계가 어떻게 습득할 수 있을까? 무한하게 다양한 상황들 중에서 현재 상황과 관련있는 정확한 상식을 추론해낼 수 있어야 할 것이다. 본 논문은 자동으로 Commonsense Knowledge base 구조를 생성하는 모델에 대한 연구 논문이다. ATOMIC