🧠 AI

GAT의 가장 핵심적인 아이디어는 각 노드에 대해 multi-head attention을 적용했다는 점입니다. Multi-head attention이란 대표적인 attention 모델인 Transformer에서 사용한 기법으로 아래 그림과 같이 전체 차원을 나누어서 l

Neighborhoods AggregationGNN은 입력으로 그래프 구조와 각 노드별 feature 정보를 받습니다. 입력으로 받은 feature 정보와 그래프 내에서 나타나는 이웃 정보를 바탕으로 각 노드 별 vector embedding을 출력 결과로 얻어냅니다.

트랜스포머는 2017년 구글이 제안한 시퀀스 투 시퀀스 모델입니다. 자연어처리에 큰 획을 그은 BERT, GPT pretrained model은 트랜스포머 기반의 언어모델로,트랜스포머의 등장 후 NLP의 역량이 크게 증가하였다고 봅니다.All You Need is At