Abstract

최근 변압기는 그래프 표현을 학습하는 데 유망한 성능을 보였다. 그러나 심층 변압기는 처음부터 훈련하기 어렵고 노드 수에 따른 2차 메모리 소비로 인해 실제 시나리오에 변압기를 적용할 때 여전히 몇 가지 과제가 있다. 본 논문에서는 그래프 표현을 학습하기 위한 자체 감독 변압기 기반 모델인 GMAE(Graph Masked Autoencoders)를 제안한다. 위의 두 가지 과제를 해결하기 위해 마스킹 메커니즘과 비대칭 인코더-디코더 설계를 채택한다. 특히, GMAE는 부분적으로 마스킹된 그래프를 입력으로 사용하고 마스킹된 노드의 기능을 재구성한다. 인코더와 디코더는 비대칭이며, 여기서 인코더는 심층 변압기이고 디코더는 얕은 변압기이다. 마스킹 메커니즘과 비대칭 설계는 GMAE를 기존 변압기와 비교하여 메모리 효율적인 모델로 만든다. 우리는 GMAE가 기존의 자체 감독 그래프 표현 모델로 기능할 때 공통 다운스트림 평가 프로토콜에서 그래프 분류 작업과 노드 분류 작업 모두에서 최첨단 성능을 달성한다는 것을 보여준다. 우리는 또한 처음부터 끝까지 훈련하는 것과 비교하여 훈련 과정을 단순화하면서 GMAE를 사용하여 사전 훈련 및 미세 조정 후 유사한 성능을 달성할 수 있음을 보여준다.

1 INTRODUCTION