네트워크 임베딩 학습이란?
복잡한 그래프 구조 내의 노드들을 저차원 벡터 공간으로 매핑하여 그래프의 구조적 관계를 수치적으로 표현하는 기법
각 방법들은 그래프의 구조와 응용 분야에 따라서 장단점이 있고, 연구나 실무 환경에서 요구하는 정보에 따라 적절한 방법을 선택하면 된다.
1. Deep Walk
그래프에서 임의보행(random walk)을 수행하여, 노드 시퀸스를 생성 후 자연어 처리에서 사용하는 Skip-gram 모델을 적용해 임베딩을 학습한다.
- 과정
- 각 노드에서 시작해 랜덤하게 이웃을 따라 일정 길이의 경로(시퀸스)를 생성
- 생성된 시퀸스들을 문장으로 보고, Skip-gram모델로 학습하여 각 노드의 벡터 표현을 도출
- 특징
- 그래프의 지역적 구조(local structure)를 잘 포착함
- 언어 모델과 유사한 방식으로 임베딩을 학습하기 때문에, 구현이 비교적 간단함
여기서 조금 생소할 수도 있는 용어를 간단하게 정리하겠다..
간단하게 요약하면, Random walk는 그래프의 지역적 관계를 임의 경로를 통해 탐색해서 '문맥'을 구성하고 Skip-gram 모델은 이 '문맥'을 기반으로 노드(단어)의 의미를 저차원 벡터로 학습하는 방법으로 두 기법을 결합하게 되면, 복잡한 구조를 효과적으로 반영하는 임베딩 학습에 매우 유용하게 사용될 수 있다.
두 기법에 대해서는 나중에 자세히 다루어 보겠다.
2. Node2Vec
Node2vec은 Deepwalk의 확장 버전으로 임의 보행과정에서 BFS(너비 우선탐색)과 DFS(깊이우선 탐색)의 특성을 조절할 수 있는 현향된 (random walk with bias) 보행전략을 도입한다.
- 과정
- 두개의 하이퍼파라미터 p와 q를 도입하여, 다음 노드를 선택할 때 이전 노드와의 관계를 고려한 편햐오딘 확률분포를 적용
- 이후 지역적 정보(국소)와 글로벌(전역) 정보를모두 반영하느 노드 시퀸스르 생성
- Skip-gram모델을 통해 노드 임베딩을 학습
*특징
- BFS와 DFS 사이의 균형을 조절하여 다양한 그래프 구조 정보를 효과적으로 포착
- Deepwalk보다 유연하게 임베딩 학습 가능
3. Line
Line은 매우 대규모의 네트워크에서도 효율적으로 임베딩을 학습할 수 있도록 설계된 방법임
*과정
- 1차 근접성 (First-order proximity) 두 노드 간의 직접 연결된 관계 (edge의 존재)를보존하는 임베딩을 학습
- 2차 근접성 (Second-order proximity) 노드가 공유하는 이웃(공통 연결 구조)를 통해 간접적인 관계까지 반영
- 특징
- 그래프의 로컬구조 뿐 아니라 인접한 노드들의 분포까지 고려
- 대규모 그래프에서도 효율적으로 계산할 수 있도록 설계
4. GCN (Graph Convolutional network)
GCN은 신경망을 그래프 데이터에 적용한 모델로, 각 노드의 특성을 이웃노드의 정보와 결합해 갱신하는 방식을 동작
- 과정
- 각 노드의 초기 특성과 그래프의 인접행렬을 입력으로 받음
- 각 레이어에서 노드와 그 이웃의 특성들을 선형 변환과 활성화 함수(Relu)ㄹ,ㄹ 텅헤 텅힙힘
- 여러 레이어를 거치면서 노드의 표현이 더 글로벌한 그래프의 정보를 반영하게 됨
- 특징
- 직접적으로 노드의 특성(feature)와 그래프 구조를 결합하여 학습
- 분류,회귀, 클러스터링 등 다양한 다운스트림 작업에 적용가능
--> 여기서 다운스트림 작업이란 사전 학습이나 임베딩 등에서 얻은 모델 도는 표현을 실제 응요 문제에 활용하는 작업을 뜻함
쉽게 예를 들어 설명하자면, 텍스트 임베딩을 학습한 후에 문서 분류, 감성 분석, 질의 응답, 추천 시스템 등을 수행하는 것.. 다시말해, 사전학습모델이 범용적인 표현을 학습한 후, 이표현을 바탕으로 구체적인 문제해결에 적용하느 과정을 의미
출처: [Graph Embedding Techniques, Applications, and Performance: A Survey] Palash Goyal, Emilio Ferrara (https://arxiv.org/abs/1705.02801)
