CS224W 2021 FALL
1.CS224W 3.1 Node Embeddings
전통적인 Graph 구조의 ML에서는 수동으로 Feature를 생성하고 학습해야함. (사람) => (팔의개수)(다리의개수)(오장육부)....네트워크 구조에서 Feature를 자동으로 학습하고 싶음Graph ML에서 효율적인 태스크 독립적인 Feature learning
2.CS224W 3.2 Random Walk
Vector $$\\mathbf{z}\_u$$ 찾고자 하는 목표 Probability $$P(v|\\mathbf{z}\_u)$$ 사후확률, u에서 출발, v를 방문할 확률Softmax function : 다중 클래스에 사용 (보통 출력층 activation func.
3.CS224W 3.3 Embedding Entire Graphs
1.개요 1.1. 목표 서브그래프나, 전체 그래프 $G$를 embedding space에 매핑 : $\mathbf{z}_G$ 1.2. 응용 분자구조에서 독성/무독성 여부를 분류하는 작업 이상 그래프를 탐지하는 작업 (Anomaly Detection) 2. Surv
4.CS224W 4.1 Graph as Matrix: Page Rank, Random Walks and Embeddings
1. 개요 graph를 matrix 관점으로 학습하고 분석하는 방법에 대해 알아보기 2. PageRank (Google algorithm) 2.1. Example: 그래프로 표현되는 웹 Web as a graph: 노드: 웹 페이지 에지: 하이퍼링크들 Side
5.CS224W 4.2 PageRank: How to Solve?
$n$개 노드의 그래프가 주어졌을 때, 다음과 같은 iteration을 이용할 수 있음각 노드에 initial page rank 값을 부여다음 수식(1)의 값 수렴할 때 까지 아래 update(2)를 반복함(1) $\\sumi |r_i^{t+1} - r_i^t|<
6.CS224W 4.3 Random walk with Restarts and Personalized PageRank
Given User/Item으로 분리되는 bipartite graph가 주어졌을 때 Goal Proximity(근접성) on graphs왜 이런 목표를 설정하는가? Q, P 항목을 구매한 사용자가 있을 때, Q를 구매한 사용자에게 P를 추천하는 데에 이용할 수 있
7.CS224W 4.4 Matrix Factorization and Node Embeddings
행렬분해와 노드유사도의 연결가장 단순한 형태의 노드유사도 에지로 연결된 nodes $u, v$는 유사하다!이는 $\\mathbf{z}v^T\\mathbf{z}\_u=A{u,v}$를 의미인접행렬에서의 $(u,v)$가 에지 연결을 의미하며, 노드 $u,v$의 벡터를 내적한
8.CS224W 5.1 Message passing and Node Classification
일부 노드에 레이블이 할당된 그래프가 주어졌을 때,어떻게 모든 다른 노드에 대해 레이블을 할당할 수 있을까?예시 : 네트워크에서 신뢰할 수 있는 노드와 '사기꾼' 노드를 어떻게 찾아낼 수 있을까?위 문제는 Lecture 3 Node embedding을 통해 이미 해결할
9.CS224W 6.1 Graph Neural Network
Lecture 3에서 노드임베딩에서 다루었던 내용에 대한 간략한 remind노드임베딩의 IntuitionInput graph가 주어졌을 때, 각각의 노드들을 $d$-차원의 임베딩으로 매핑이 때, 그래프에서 유사한 노들이 가깝게 임베딩되도록 매핑하는 함수 $f(G)$를
10.CS224W 6.2 Basics of Deep Learning
Supervised learning : $x$가 주어지면, label(or class) $y$를 예측하는게 목표Input $x$는?실수로 구성된 벡터시퀀스 데이터 : 자연어 시퀀스, 토큰 시퀀스, 음성 시퀀스행렬 : 동일한 크기로 크기가 조정된 이미지그래프 : 노드,에
11.CS224W 6.3 Deep Learning for Graphs
Local network neighborhoods집계 전략 설명 (aggregation strategies)computation graphs에 대한 정의Stacking multiple layers 신경망에 레이어 쌓기모델, 파라미터, 학습에 대한 설명모델을 훈련하는 방
12.CS224W 7.1 A General Perspective on Graph Neural Networks
그래프 신경망을 설계하는 여러 갈래들에 대한 일종의 개요(1) 1-layer의 내부관점에서GNN의 single-layer는 2가지 로직으로 구성된다고 생각할 수 있음Message + AggregationGCN, GraphSAGE, GAT 등의 방식들의 핵심적인 차이점
13.CS224W 7.2 A Single Layer of a GNN
GNN Layer의 두가지 구성요소 = Message transformation + message Aggregation각 방식들은 위 두가지 구성요소 측면에서 차이를 보임e.g. GCN, GraphSAGE, GAT, ...아이디어자식들로부터 오는 벡터 집합인 메시지 세
14.CS224W 7.3 Stacking Layers of a GNN
이전까지 그래프신경망의 단일계층을 설계하고 정의하는 것에 대해 논의하였고, 레이어를 쌓는 것에 대해 다뤄보는 강의!문제정의지금까지 살펴본 Single layer들을 어떻게 쌓을 수 있을까?그래프 신경망에 연결을 추가하거나 건너뛸 수 있는 방법이 있을까?Standard
15.CS224W 14.1-14.2 Community Detection in Networks
Youtube 강의는 13, 2021-fall 강의자료상으로는 14 chapter에 해당됨구조, 정보의 두가지 측면에서 살펴본 Granovetter의 이론구조적으로 빽빽하게 연결된 Edge는 사회적으로 '강함'을 나타냄 (밀접한 관계나 가까운 사람들 간의 관계)네트워크
16.CS224W 13.3 Louvain Algorithm
에지를 이동시킬 때 Q의 변화량을 계산하고, 이 변화가 없을때까지 계속 반복하는 greedy algorithm (로컬 최적화)