GCN의 전파 규칙 이해하기1

HanJu Han·2025년 10월 11일

GCN의 전파 규칙 이해하기

목표: GCN의 전파 규칙 H(i+1)=σ(AH(i)W(i))H^{(i+1)} = \sigma(A H^{(i)} W^{(i)}) 를 이커머스 데이터로 이해하기

💡 핵심 개념:
노드 임베딩은 이웃 노드의 정보를 받아서 업데이트된다.
→ 이를 수학적으로 표현한 것이 전파 규칙(propagation rule)입니다.


1. 기본 개념: GCN은 어떻게 작동하나?

🔹 GCN의 핵심: Message Passing (메시지 전달)

  • 각 노드는 이웃 노드로부터 메시지(정보)를 받음
  • 받은 메시지를 통합(Aggregation)하고, 업데이트(Update)하여 새로운 임베딩 생성
  • 여러 레이어 반복 → 점점 더 풍부한 표현 학습

2. 전파 규칙 수식: H(i+1)=σ(AH(i)W(i))H^{(i+1)} = \sigma(A H^{(i)} W^{(i)})

이 수식은 GCN의 가장 기본적인 전파 규칙입니다.

H(i+1)=σ(AH(i)W(i))H^{(i+1)} = \sigma(A H^{(i)} W^{(i)})
  • H(i)H^{(i)}: ii번째 레이어에서의 노드 임베딩 행렬
  • AA: 인접 행렬 (그래프 구조)
  • W(i)W^{(i)}: 학습 가능한 가중치 행렬
  • σ\sigma: 활성화 함수 (예: ReLU)

수식 해석: 각 요소의 의미

기호설명
H(i)H^{(i)}현재 레이어에서의 노드 임베딩 (행렬 형태)
AA노드 간 연결 관계 (인접 행렬)
W(i)W^{(i)}학습 가능한 가중치 (특징 변환)
σ\sigma비선형성 추가 (ReLU 등)

💡 직관적 설명:
“이웃 노드의 정보(AH(i)A H^{(i)})를 모아서, 가중치(W(i)W^{(i)})로 변환하고, 비선형 함수(σ\sigma)로 처리 → 새로운 임베딩 생성”


3. 실제 이커머스 데이터로 적용해보기

입력 데이터: 특성 행렬 X(=H(0))X (= H^{(0)}) + 인접 행렬 AA

1) 특성 행렬 X=H(0)X = H^{(0)} — 초기 임베딩 (모두 양수!)

💡 H(0)=XR5×7H^{(0)} = X \in \mathbb{R}^{5 \times 7}모든 원소 > 0 (0.1을 최소값으로 설정하여 0 방지)

2) 인접 행렬 AA — 그래프 구조

노드 순서: [U1, U2, P1, P2, P3]

A=[0011000101110001000001000]A = \begin{bmatrix} 0 & 0 & 1 & 1 & 0 \\ 0 & 0 & 1 & 0 & 1 \\ 1 & 1 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ \end{bmatrix}

GCN 1단계: 전파 규칙 적용 (H(1)=σ(AH(0)W(0))H^{(1)} = \sigma(A H^{(0)} W^{(0)}))

1) A×H(0)A \times H^{(0)} 계산 — 이웃 정보 전달

A×H(0)=[0011000101110001000001000]×[0.60.50.10.10.10.10.10.70.40.10.10.10.10.10.10.11.00.10.10.80.90.10.10.11.00.10.60.70.10.10.10.11.00.90.8]A \times H^{(0)} = \begin{bmatrix} 0 & 0 & 1 & 1 & 0 \\ 0 & 0 & 1 & 0 & 1 \\ 1 & 1 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ \end{bmatrix} \times \begin{bmatrix} 0.6 & 0.5 & 0.1 & 0.1 & 0.1 & 0.1 & 0.1 \\ 0.7 & 0.4 & 0.1 & 0.1 & 0.1 & 0.1 & 0.1 \\ 0.1 & 0.1 & 1.0 & 0.1 & 0.1 & 0.8 & 0.9 \\ 0.1 & 0.1 & 0.1 & 1.0 & 0.1 & 0.6 & 0.7 \\ 0.1 & 0.1 & 0.1 & 0.1 & 1.0 & 0.9 & 0.8 \\ \end{bmatrix}
  • H는 각 노드의 특성
  • A는 인터렉션 행렬로 둘을 곱해 실제 인터렉션이 있는 노드의 특성이 적용됨.
    • ex) 0번째 노드는 2,3 노드와 관련이 있고 곱으로 인해 2,3행렬의 특징이 적용됨.

Message Passing 효과


2) (AH(0))×W(0)(A H^{(0)}) \times W^{(0)} 계산 — 특징 변환 (모두 양수 가중치)

가정: W(0)R7×3W^{(0)} \in \mathbb{R}^{7 \times 3}, 모든 원소 > 0

W(0)=[0.10.20.30.40.50.60.70.80.90.20.30.40.50.60.70.20.30.40.50.60.7]W^{(0)} = \begin{bmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \\ 0.2 & 0.3 & 0.4 \\ 0.5 & 0.6 & 0.7 \\ 0.2 & 0.3 & 0.4 \\ 0.5 & 0.6 & 0.7 \\ \end{bmatrix}

(AH(0))W(0)R5×3(A H^{(0)}) W^{(0)} \in \mathbb{R}^{5 \times 3} 계산 결과 모든 값 > 0


3) σ((AH(0))W(0))\sigma((A H^{(0)}) W^{(0)}) 계산 — 비선형성 추가

활성화 함수 σ=ReLU\sigma = \text{ReLU} (음수는 0으로)

H(1)=ReLU((AH(0))W(0))=(AH(0))W(0)H^{(1)} = \text{ReLU}\left( (A H^{(0)}) W^{(0)} \right) = (A H^{(0)}) W^{(0)}

→ 최종 H(1)H^{(1)}의 모든 원소 양수!


4. Multi-layer: 2층 GCN 적용

1) H(1)H^{(1)}을 입력으로 다시 전파 규칙 적용

H(2)=σ(AH(1)W(1))H^{(2)} = \sigma(A H^{(1)} W^{(1)})

모든 중간값이 양수이므로, 2층에서도 0이 발생하지 않음


5. Sum 방식 예시

예시 데이터: 작은 그래프

→ 인접 행렬 AA:

A=[0100001101001010]A = \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 1 \\ 0 & 1 & 0 & 0 \\ 1 & 0 & 1 & 0 \\ \end{bmatrix}

→ 특성 행렬 XR4×2X \in \mathbb{R}^{4 \times 2}:

X=[1.01.02.02.03.03.04.04.0]X = \begin{bmatrix} 1.0 & 1.0 \\ 2.0 & 2.0 \\ 3.0 & 3.0 \\ 4.0 & 4.0 \\ \end{bmatrix}

1단계: A×XA \times X 계산 — 이웃 정보 전달

AX=[2.02.07.07.02.02.04.04.0]A X = \begin{bmatrix} 2.0 & 2.0 \\ 7.0 & 7.0 \\ 2.0 & 2.0 \\ 4.0 & 4.0 \\ \end{bmatrix}

Sum 방식: 이웃 노드의 특성을 단순히 더함


2단계: (AX)×W(A X) \times W 계산 — 특징 변환

가정: W=[0.10.20.30.4]W = \begin{bmatrix} 0.1 & 0.2 \\ 0.3 & 0.4 \end{bmatrix}

(AX)W=[0.81.22.84.20.81.21.62.4](A X) W = \begin{bmatrix} 0.8 & 1.2 \\ 2.8 & 4.2 \\ 0.8 & 1.2 \\ 1.6 & 2.4 \\ \end{bmatrix}

3단계: σ((AX)W)\sigma((A X) W) — 비선형성 추가

σ=ReLU\sigma = \text{ReLU}모든 값이 양수이므로 그대로 유지

H(1)=[0.81.22.84.20.81.21.62.4]H^{(1)} = \begin{bmatrix} 0.8 & 1.2 \\ 2.8 & 4.2 \\ 0.8 & 1.2 \\ 1.6 & 2.4 \\ \end{bmatrix}

요약: GCN 전파 규칙 & 이커머스 적용

개념설명이커머스 적용 예수식
Local Connectivity이웃 노드 정보만 사용상품의 유사 상품 정보 활용AH(i)A H^{(i)}
Shared Weights모든 노드 동일 가중치다양한 상품에 동일한 규칙 적용×W(i)\times W^{(i)}
Message Passing이웃 정보 전달 → 임베딩 업데이트사용자-상품 관계를 통한 추천σ(AH(i)W(i))\sigma(A H^{(i)} W^{(i)})

📌 결론

GCN의 전파 규칙 H(i+1)=σ(AH(i)W(i))H^{(i+1)} = \sigma(A H^{(i)} W^{(i)}) 는 이커머스에서 사용자와 상품 간의 복잡한 관계를 모델링하고, 이를 바탕으로 정확한 추천을 제공하는 핵심 수식입니다.

semi-supervised learning: 라벨이 있는 엣지들만 학습이 된다. -> 학습된 W는 실제 라벨이 없는 엣지들도 추천이 가능하게 된다.

profile
시리즈를 기반으로 작성하였습니다.

0개의 댓글