논문 리뷰

'논문 읽는법'에 대한 논문이다. 논문을 효율적으로 읽는 방법에 대해 설명하고 있다. computer science 교수님이 쓰신 논문이라, 이쪽 분야의 논문 읽기에 더 특화된 방법인 것 같다. 1. The Three-Pass Approach 논문을 3 단계에 걸쳐

0. Abstract Graph Neural Networks (GNNs)는 그래프의 representation 학습에 있어서 효과적인 프레임워크다. 많은 gnn 변형 모델들이 고안되었으며 노드와 그래프 분류 문제에 있어서 뛰어난 성과를 보였다. 그러나 GNN의 혁명적인

PDF : https://arxiv.org/pdf/2010.11929.pdf CODE : https://github.com/google-research/vision_transformer 논문 요약 > - NLP분야에서 거둔 트랜스포머의 성과와 대조되게, Vision

PDF : https://arxiv.org/pdf/1906.05317.pdf정해진 형식(two entities with a known relation)이 있는 전통적인 knowledge base와 다르게 commonsense knowledge는 느슨하게 구조화

📃 Paper : https://arxiv.org/pdf/2107.14795.pdf Introduction 지금까지 대부분의 머신러닝 연구들은 각각의 Data type과 task에 특화된 모델들을 개발하는데에 집중해왔다. Multiple Modalities를 다루

📃 Paper : https://arxiv.org/pdf/2111.14447.pdf💻 Code : https://github.com/YoadTew/zero-shot-image-to-text한 줄 요약 : visual-semantic model을

(✨ 기존의 network pruning 방식에 의문을 제기하면서 다양한 pruning기법들을 소개하고 비교하기 때문에, 어떠한 network pruning 방식들이 연구되어왔는지 개괄적으로 살펴보기에 좋은 논문인 것 같다.)over-parameterization은 딥

📃 paper: https://arxiv.org/pdf/2012.09699.pdf💻 code: https://github.com/graphdeeplearning/graphtransformerNLP분야에서 뛰어난 성능을 거둔 Transformer는

📃 paper : https://arxiv.org/pdf/2009.14794.pdfOriginal transformer model은 뛰어난 성능을 자랑하지만 quadratic한 space and time complexity를 수반하여 long-sequence

Knowledge Graph(지식 그래프)에서는 위의 그림과 같이 Entity(ex.Sunnyvale)와 Relation(ex.country)로 이루어져 있다. 지식 그래프는 subject entity(=head entity), predicate(=relation),

pure graph 와 다르게 knowledge graph(KG)는 여러개의 노드 타입으로 구성된 Heterogeneous graph 이다. 따라서 Transformer architecture가 KG modeling에 적합한지 여부는 아직 풀리지 않은 문제다. 구체적으

key word : Knowledge graph completion, contrastive learning, bi-encoder, BERT, 1. Introduction Knowledge graph completion 분야에서는 최근들어 Knowledge graph

Pretrained language Models을 기반으로 하는 Knowledge graph completion Models에 대한 많은 연구가 이어져 오고 있다. 하지만 기존 연구에는 다음과 같은 문제점들이 존재한다. 1) Inaccurage evaluation se

mainly target Link Prediction Propose new model named GenKGC Convert link prediction to sequence to sequence generation. Use pretrained lanuage model

1. Introduction 컴퓨팅 파워의 증가와 모델 능력의 향상으로 문법적으로 거의 완벽한 문장 길이의 자연어 텍스트를 생성해내는 것이 가능해졌다. 그러나 Scientific writing과 같이 다양한 topic들이 관련되어 있고 처리과정이나 어떠한 현상을 설명

저자들은 Knowledge graph completion을 하는 method들이 아래와 같은 필요 조건들을 만족해야 좋은 모델이라고 말하고 있다. scalablility : have model size and inference time independent of the