저자들은 Knowledge graph completion을 하는 method들이 아래와 같은 필요 조건들을 만족해야 좋은 모델이라고 말하고 있다. scalablility : have model size and inference time independent of the

Graph Representation learning에서의 Transductive setting과 Inductive setting의 의미를 알아보자. transductive setting에서 모델 훈련의 output은 node embedding이다. embedding

1. Introduction 컴퓨팅 파워의 증가와 모델 능력의 향상으로 문법적으로 거의 완벽한 문장 길이의 자연어 텍스트를 생성해내는 것이 가능해졌다. 그러나 Scientific writing과 같이 다양한 topic들이 관련되어 있고 처리과정이나 어떠한 현상을 설명

mainly target Link Prediction Propose new model named GenKGC Convert link prediction to sequence to sequence generation. Use pretrained lanuage model

Pretrained language Models을 기반으로 하는 Knowledge graph completion Models에 대한 많은 연구가 이어져 오고 있다. 하지만 기존 연구에는 다음과 같은 문제점들이 존재한다. 1) Inaccurage evaluation se

key word : Knowledge graph completion, contrastive learning, bi-encoder, BERT, 1. Introduction Knowledge graph completion 분야에서는 최근들어 Knowledge graph

pure graph 와 다르게 knowledge graph(KG)는 여러개의 노드 타입으로 구성된 Heterogeneous graph 이다. 따라서 Transformer architecture가 KG modeling에 적합한지 여부는 아직 풀리지 않은 문제다. 구체적으

Knowledge Graph(지식 그래프)에서는 위의 그림과 같이 Entity(ex.Sunnyvale)와 Relation(ex.country)로 이루어져 있다. 지식 그래프는 subject entity(=head entity), predicate(=relation),

📃 paper : https://arxiv.org/pdf/2009.14794.pdfOriginal transformer model은 뛰어난 성능을 자랑하지만 quadratic한 space and time complexity를 수반하여 long-sequence

📃 paper: https://arxiv.org/pdf/2012.09699.pdf💻 code: https://github.com/graphdeeplearning/graphtransformerNLP분야에서 뛰어난 성능을 거둔 Transformer는

(✨ 기존의 network pruning 방식에 의문을 제기하면서 다양한 pruning기법들을 소개하고 비교하기 때문에, 어떠한 network pruning 방식들이 연구되어왔는지 개괄적으로 살펴보기에 좋은 논문인 것 같다.)over-parameterization은 딥

📃 Paper : https://arxiv.org/pdf/2111.14447.pdf💻 Code : https://github.com/YoadTew/zero-shot-image-to-text한 줄 요약 : visual-semantic model을

📃 Paper : https://arxiv.org/pdf/2107.14795.pdf Introduction 지금까지 대부분의 머신러닝 연구들은 각각의 Data type과 task에 특화된 모델들을 개발하는데에 집중해왔다. Multiple Modalities를 다루

PDF : https://arxiv.org/pdf/1906.05317.pdf정해진 형식(two entities with a known relation)이 있는 전통적인 knowledge base와 다르게 commonsense knowledge는 느슨하게 구조화

PDF : https://arxiv.org/pdf/2010.11929.pdf CODE : https://github.com/google-research/vision_transformer 논문 요약 > - NLP분야에서 거둔 트랜스포머의 성과와 대조되게, Vision

0. Abstract Graph Neural Networks (GNNs)는 그래프의 representation 학습에 있어서 효과적인 프레임워크다. 많은 gnn 변형 모델들이 고안되었으며 노드와 그래프 분류 문제에 있어서 뛰어난 성과를 보였다. 그러나 GNN의 혁명적인

'논문 읽는법'에 대한 논문이다. 논문을 효율적으로 읽는 방법에 대해 설명하고 있다. computer science 교수님이 쓰신 논문이라, 이쪽 분야의 논문 읽기에 더 특화된 방법인 것 같다. 1. The Three-Pass Approach 논문을 3 단계에 걸쳐

Graph Neural Network GNN은 그래프에 직접 적용할 수 있는 신경망이다. 점 레벨에서, 선 레벨에서, 그래프 레벨에서의 예측 작업에 쓰인다. GNN의 핵심은 점이 이웃과의 연결에 의해 정의된다는 것이다. 연결관계와 이웃들의 상태를 이용하여 각 점의 상

참고글: 링크텍스트그래프는 점들과 그 점들을 잇는 선으로 이루어진 데이터 구조이다. 관계나 상호작용을 나타내는 데이터를 분석할 때 주로 쓰인다. 정의 V : 점 집합, E: 두 점을 잇는 선 집합G=(V,E) 이 그래프는 G=({1,2,3},{{1,2},{2,3