AutoRec: Autoencoders Meet Collaborative Filtering (WWW 2015)

ABSTRACT

• Novel autoencoder framework for CF
• Empirical하게 CF에서 SOTA 달성

INTRODUCTION

• Netflix challenge를 통해 MF와 neighborhood model이 CF에서 지배적인 알고리즘이 됨
• Autoencoder기반 AutoRec을 통해 computational advantage와 empirically outperform을 보여줌

THE AUTOREC MODEL

• $\mathrm{R} \in \R^{m \times n}$
• $\mathrm{u} \in U = \left\{1...m\right\}$
• $\mathrm{i} \in I = \left\{1...n\right\}$
• $\mathrm{r^{(i)} = (R_{1i},...R_{mi}}) \in \R^{m}$
• design item-based autoencoder
• Autoencoder와 유사하게 low dimensional latent space로 mapping 후 원래 셋으로 복원

• 다음 식을 solve

• activation function $f, g$
• $\mathrm{W} \in \R^{d \times k}$, $\mathrm{V} \in \R^{k \times d}$, $\mu \in \R^{k}$, $\mathrm{b} \in \R^{d}$
• K-dimensional hidden layer로의 autoencoder와 동일
• Back Propagation을 통해 학습
• 오토인코더와 차이점
  • 관측치에서만 Reconstruction Error를 계산한다는 것 (MF에서의 접근과 동일)
  • Overfitting을 방지하기 위한 term 추가되어 있음

• 최종적으로 다음과 같은 목적식을 최적화

• 다음 식이 예측값이 됨

• AutoRec은 RBM-based CF model과 차이가 있음

  • 기저
    • RBM-based model은 generative, probabilitstic model based on boltzmann machines
    • AutoRec은 discriminative model based on autoencoders
  • 최적화
    • RBM-CF estimates parameters by maximaize log likelihood
    • AutoRec directly minimize RMSE
  • 학습
    • RBM-CF require contrastive divergence
    • AutoRec comparatively faster gradient-based backpropagation
  • 파라미터 개수
    • RBM-CF $\mathrm{nkr}$ or $\mathrm{mkr}$
    • AutoRec need fewer parameter
      • Compare to MF, MF need user, item hidden vector
      • AutoRec only need Item latent vector
  • 선형
    • MF learns a linear latent representation
    • AutoRec learn a nonlinear latent representation

EXPERIMENTAL EVALUATION

• Item-based AutoRec이 다른 모든 모델을 압도
• f는 identity, g는 sigmoid일 때 가장 좋은 성능
• LLORAM는 수 많은 MF 모델을 앙상블 한 것인데, 단순한 hidden representation을 사용한 AutoRec이 이에 도달