Week5 Day5

📋$Graph$ $Neural$ $Network$ $basic$

📌 정점 표현 학습 $(Node$ $Embedding)$

• 주어진 그래프의 각 정점들을 벡터의 형태로 표현하는 것
• 그래프에서의 정점간 유사도를 임베딩 공간에서도 보존하는 것을 목표로
  
• 변환식$(Transductive)$ 방법은 학습의 결과로 정점의 임베딩 자체를 얻는다
• 귀납식$(Inductive)$ 방법은 정점을 임베딩을 변화시키는 함수를 얻는 방법

📌 그래프 신경망 $(Graph$ $Neural$ $Network)$

• 그래프 신경망은 그래프와 정점의 속성 정보를 입력으로 받는다

• 대상 정점의 임베딩을 얻기 위해 이웃들 그리고 이웃의 이웃들의 정보를 집계한다.

• 각 층에서 이웃들의 이전 층 임베딩을 집계하여 새로운 임베딩을 얻는다.
  

• 결국 대상 정점 마다 집계되는 정보가 상이하다

• 그러나 서로 다른 대상 정점간에도 층 별 집계 함수는 공유한다.
  

• 공유되는 집계함수가 서로 다른 구조의 계산 그래프(가변길이)를 처리할 수 있도록
  

• 정점 임베딩을 위해서 정점간 거리를 보존하도록 하는 손실함수 $(Unsupervised)$
  

• 정점 분류의 손실함수를 이용한 $End$-$to$-$End$ 학습도 가능하다.

• 신경망을 이용하여 정점의 임베딩을 얻고 / 이를 분류기 입력으로 사용하여 분류하는 학습
  

• 학습에 사용할 대상 정점을 결정하여 학습 데이터를 구성 (정점에 대한 계산 그래프 구성)

• 오차역전파를 통해 손실함수 최소화
  

• 이런 귀납식 방법을 통해
  (1) 학습에 사용되지 않은 정점의 임베딩을 얻을 수 있고
  (2) 학습 이후 추가된 정점 임베딩 얻을 수 있다.
  (3) 새로운 그래프에도 적용할 수 있다.

📌 그래프 신경망 변형

• 그래프 합성곱 신경망$(Graph$ $Convolutional$ $Network)$의 집계함수
  

• $GraphSAGE$의 집계함수
  

📌 합성곱 신경망과의 비교

• 합성곱 신경망과 그래프 신경망 모두 이웃의 정보를 집계하는 과정을 반복
• 합성곱 신경망에서는 이웃의 수가 균일하지만, 그래프 신경망은 그렇지 않다.
• 이미지에서는 물리적으로 인접한 픽셀이 유용한 정보를 담고 있을 가능성이 크다.
  그러나 그래프에서 물리적으로 인접한 원소는 임의의 순서로 배열되어있다.
  

📋$Graph$ $Neural$ $Network$ $advance$

📌 그래프 신경망에서의 어텐션 $(Attention)$

• 기존의 그래프 신경망에서는 각 이웃들의 정보를 동일한 가중치로 이용한다.

• 그래프 합성곱 신경망에서도 단순히 연결성을 고려한 가중치로 평균
  

• 그래프 어텐션 신경망$(Graph$ $Attention$ $Network)$에서는 가중치 자체도 학습
  

• 여러개의 어텐션을 동시에 학습하는 멀티헤드 어텐션$(Multi$-$head$ $Attention)$
  

📌 그래프 표현 학습

• 개별 정점을 벡터로 표현하는 정점 표현 학습과 다르게 그래프 전체를 벡터의 형태로 표현하는 것을 말한다.
• 그래프 풀링은$(Graph$ $Pooling)$은 정점 임베딩들로부터 그래프 임베딩을 얻는 과정
  

📌 지나친 획일화 문제 $(over$ $smoothing)$

• 지나친 획일화$(Over$-$smoothing)$문제는 그래프 신경망의 층 수가 증가하면서 정점의 임베딩이 서로 유사해지는 현상
  

• $JK$ 네트워크는 모든 층의 임베딩을 함께사용

• $APPNP$는 0번째 층을 제외하고 신경망 없이 집계 함수를 단순화
  

📌 그래프 데이터 증강$(Data$ $Augmentation)$

• 임의 보행을 통해 정점간 유사도가 높은 정점 사이에 간선을 추가하는 방법