# graph transformer
[#LoG_Reading] Structure-Aware Transformer for Graph Representation Learning
2023.04.12 Structure-Aware Transformer for Graph Representation Learning
[#LoG_Reading] Graphormer : Do Transformers Really Perform Badly for Graph Representation?
2023.04.05 Do Transformers Really Perform Badly for Graph Representation?
Recipe for a General, Powerful, Scalable Graph Transformer
우리는 다양한 벤치마크 세트에서 선형 복잡성과 최첨단 결과를 가진 일반 강력하고 확장 가능한(GPS) 그래프 트랜스포머를 구축하는 방법에 대한 레시피를 제안한다. 그래프 트랜스포머(GT)는 최근 다양한 출판물로 그래프 표현 학습 분야에서 인기를 얻었지만 무엇이 좋은 위
Pure Transformers are Powerful Graph Learners
우리는 그래프 특정 수정 없이 표준 트랜스포머가 이론과 실제 모두에서 그래프 학습에서 유망한 결과를 가져올 수 있음을 보여준다. 그래프를 지정하면 모든 노드와 에지를 독립적인 토큰으로 처리하고 토큰 임베딩으로 보강한 후 트랜스포머에 공급한다. 적절한 토큰 임베딩 선택을
Transformer for Graphs: An Overview from Architecture Perspective
최근 많은 인공지능 분야에서 큰 성공을 거둔 트랜스포머 모델은 그래프 구조 데이터를 모델링하는 데 큰 잠재력을 발휘하고 있다. 지금까지 그래프 구조 데이터에 적응하기 위해 다양한 트랜스포머가 제안되었다. 그러나 그래프에 대한 이러한 트랜스포머 변형에 대한 포괄적인 문헌
Graph Masked Autoencoders with Transformers
최근 변압기는 그래프 표현을 학습하는 데 유망한 성능을 보였다. 그러나 심층 변압기는 처음부터 훈련하기 어렵고 노드 수에 따른 2차 메모리 소비로 인해 실제 시나리오에 변압기를 적용할 때 여전히 몇 가지 과제가 있다. 본 논문에서는 그래프 표현을 학습하기 위한 자체 감
Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation
정확한 사용자 및 항목 임베딩 학습은 현대 추천 시스템에 중요하다. 그러나 대부분의 기존 권장 기술은 지금까지 단일 유형의 사용자-항목 상호 작용보다 사용자의 선호도를 모델링하는 데 중점을 두었다. 많은 실제 권장 시나리오는 다중 유형 사용자 대화형 행동(예: 페이지
Do Transformers Really Perform Bad for Graph Representation?
트랜스포머 아키텍처는 자연어 처리 및 컴퓨터 비전과 같은 많은 영역에서 지배적인 선택이 되었다. 그러나 주류 GNN 변형과 비교하여 그래프 수준 예측의 인기 리더보드에서 경쟁력 있는 성능을 달성하지 못했다. 따라서 트랜스포머가 그래프 표현 학습에서 어떻게 잘 수행할 수
Global Self-Attention as a Replacement for Graph Convolution
에지 채널이라고 하는 쌍별 구조 정보를 위한 전용 경로를 추가하여 범용 그래프 학습을 위한 변압기 신경망 아키텍처의 확장을 제안한다. 우리가 에지 증강 그래프 변환기(EGT)라고 부르는 결과 프레임워크는 그래프 구조 데이터에 대한 효과적인 학습에 중요한 임의 형식의 구
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs
그래프 신경망(GNN)은 그래프 구조 데이터의 강력한 표현으로 인해 다양한 분야에 널리 적용되어 왔다. GNN의 성공에도 불구하고, 대부분의 기존 GNN은 고정 및 동종 그래프에서 노드 표현을 학습하도록 설계되었다. 특히 다양한 유형의 노드와 가장자리로 구성된 잘못 지
A Generalization of Transformer Networks to Graphs
임의 그래프에 대한 변압기 신경망 아키텍처의 일반화를 제안한다. 원래의 변압기는 자연어 처리(NLP)용으로 설계되었으며, 이는 단어 사이의 모든 연결을 시퀀스로 나타내는 완전히 연결된 그래프에서 작동한다. 이러한 아키텍처는 그래프 연결 유도 편향을 활용하지 않으며, 그