[논문 리뷰] Enhancing VAEs for Collaborative Filtering

Abstract

• CF 기반 신경망은 어텐션을 사용하기 시작했다.
• 생성 모델 기반 연구들이 많이 등장 - VAE가 SOTA 만듦
• VAE를 사용한 CF 연구는 높은 잠재력 보유
  - 유저의 선호도의 잠재 표현을 학습하기에 VAE가 너무 단순한 사전 분포를 사용
  - 깊은 신경망으로 더 깊은 표현 학습이 불가능
• 해당 연구의 개선 사항
  - 유연한 사전 분포 적용
  - VampPrior와 gating 메커니즘 도입

Introduction

• 최근 AE와 생성 모델의 연구가 많다.
• VAE를 사용하겠다.
  - 현재의 prior은 너무 제한적이어서 풍부한 잠재 변수를 하습하는 것을 방해한다.
  - 유저-아이템의 과거 상호작용을 학습하는 것은 성능 향상에 기여할 것이다.
• hierarchical VAE 학습
  - VampPrior 사용
  - Gated Linear Unit 사용(GLU)

PRELIMINARIES

Problem Formulation

• 유저의 아이템셋에 대한 과거 상호작용을 모델링
• 암시적 피드백 학습

VAE for CF

• Multi-VAE를 베이스라인으로 잡음
• 유저의 잠재 벡터 $z_u$는 표준 정규 분포에서 샘플링 된다.
• 잠재 표현은 신경망 생성 모델로 변환을 거친다.
  - 유저의 소비 과거 이력 $x^u$로 확률 분포를 만들기 위해
  - 다항 분포를 가정할 때 사용자가 각 항목을 소비했는지 여부를 나타내는 단어 모음 벡터
  $z_u \sim N(0, I_D)\\ x_u \sim Multi(N_u, \pi(z_u))$

Gating Mechanism

• 여태까지 상대적으로 얕은 신경망을 사용했다.
  - Multi-VAE는 1개의 은닉층을 사용했는데 더 깊게 쌓아도 성능 증가는 없었다.
• Gated Linear Units
  - non-recurrent 신경망은 적절히 정보를 순전파
  - Gated CNN 제안
  - $h_l(X) = (XW+b) (element\_wise\_prod) \sigma(XV+C)$
  - 과거 layer도 참여하고 현재 input에 의존함