# GNN Application

dongdori

최근 컴퓨터비전, 자연어처리 그리고 오디오 도메인에서까지 공통적으로 사용되는 인공신경망 구조가 있습니다. 2017년, Attention is all you need 라는 논문에서 발표한 트랜스포머 (transformer) 라는 구조입니다. 트랜스포머는 sequential data를 입력으로 받기 때문에, 자연어 및 오디오 데이터에 적용 가능하고, 이미지 또한 이미지 패치 (patch)들의 순차열로 표현하게 되면 트랜스포머를 적용할 수 있습니다. 최근에는 그래프 데이터에 트랜스포머 구조를 적용하는 방법론에 대한 연구가 활발히 이루어지고 있습니다. 사실 트랜스포머는 일반화된 그래프 인공신경망이라고 할 수 있습니다. 트랜스포머의 multihead attention layer가 하는 역할은, 입력으로 받은 순차열을 구성하는 원소들 간의 연관 정도 (attention weight)를 계산하여 특정 원소의 hidden state를 업데이트 하는 것입니다. 마찬가지로, aggregation-u

dongdori

1. Introduction 기존의 Question Answering(QA)에서는 거대한 규모로 학습된 언어모델을 fine-tuning하는 방식으로 학습이 이루어지기도 했으나, 이러한 방식은 몇 가지 한계점을 가집니다. answer prediction에 대한 설명력(explainability)가 부족 structured reasoning에 취약(ex. 부정에 대한 질문에서 오류가 많음) 따라서, 본 논문에서는 언어모델(LM)과 지식그래프(KG)라는 knowledge base를 동시에 사용하여 QA를 수행할 때의 challenge와 방법론에 대해 소개합니다. Challenges QA task란, 질문과 정답 선택지들(QA context)가 주어졌을 때, 정답을 고르는 task입니다. LM과 KG를 결합한 QA reasoning을 수행하기 위해 필요한 스텝은 크게 두 가지가 있습니다. QA context가 주어졌을 때, **추론에 필요한 entity들을