[Week 5-5] 🔗그래프 신경망

5주차 금요일

• 그래프 신경망

---

📝[그래프 신경망]

학습을 통해 임베딩 자체를 얻는 변환식 임베딩과 달리 정점을 임베딩으로 변환할 수 있는 인코더를 얻는 귀납식 임베딩 방법은 함수를 얻는 것이라서 학습이 진행된 이후에 추가된 정점에 대한 임베딩도 얻을 수 있고, 모든 정점에 대한 임베딩을 미리 계산해 둘 필요가 없으며 정점이 가진 속성 정보도 활용할 수 있다는 장점이 있다. 그래프 신경망(Graph Neural Network)이 대표적인 귀납식 임베딩 방법이다.

• 그래프 신경망의 구조
  그래프 신경망은 그래프와 정점의 속성 정보를 입력받는다. 그래프의 인접 행렬 A는 |V|x|V| 크기의 이진 행렬이다. 각 정점 u의 속성 벡터를 X_u라고 한다면 이 벡터의 차원은 속성의 수 m과 같다. 정점의 속성은 sns에서 사용자의 지역, 성별, 연령 등이나 PageRank에서 정점 중심성이나 군집 계수 같은 것들이 될 수 있다.

그래프 신경망에서는 이웃 정점들의 정보를 집계하는 과정을 반복하여 임베딩을 얻는다. 각 집계 단계를 레이어라고 부르고, 각 레이어마다 이웃들의 이전 레이어에서의 임베딩을 집계해 새로운 임베딩을 얻는다. 이전 층이 없는 입력 레이어(0번 레이어)의 임베딩으로는 정점의 속성 벡터를 사용한다. 이웃과의 연결 관계가 정점마다 다르기 때문에 대상 정점마다 집계되는 정보가 다른데, 집계 대상별로 달라지는 집계 구조를 계산 그래프(Computation graph)라고 부른다. 계산 그래프의 형태는 정점마다 달라지지만, 같은 레이어에 위치한 정점이라면 이웃의 이전 레이어 임베딩을 집계하는 집계 함수는 동일하다. 집계 함수는 동일하지만 계산 그래프의 형태는 다르기 때문에 집계 함수는 가변적인 크기의 입력을 처리할 수 있어야 한다.

집계 함수는 이웃들에게서 얻은 정보의 평균을 계산하고 신경망에 적용하는 구조로 되어 있다.

마지막 레이어의 임베딩이 출력 임베딩이 되며, 학습을 통해 층별로 신경망의 가중치 W_k, B_k를 업데이트한다. 손실 함수는 정점 간의 거리를 잘 보존하도록 설정하는데, 인접성을 기반으로 유사도를 정의할 경우 손실 함수는 다음과 같다.