0. Abstract

Collaborative Filltering(사용자와 상품 feature 사이의 상호작용)의 key factor를 모델링 할 때, Matrix Factorization을 사용하며 사용자와 상품의 잠재 feature의 내적을 적용한다.

본 논문에서는 Neural Net 기반의 architecture인 NCF(Neural Collaborative Filtering)을 제시한다.

📌 NCF는

• 일반적이고 framework안에서 MF를 일반화 할 수 있다.
• user-item interaction function을 학습하기 위해 multi-layer perceptron을 제안하면서 비선형적인 모델링을 강화했다.

---

1. Introduction

개인 추천시스템의 핵심은 그들의 이전 interactions(ratings and clicks)을 기반으로 한 사용자의 선호 상품을 모델링 하는 것이다.

MF는 CF방식 중 가장 유명한 방법으로 latent features vector을 이용해서 사용자와 상품을 latent space로 투영시킨다. 이 때 사용자와 상품의 상호작용은 latent vector의 내적을 통해 구해진다. MF는 CF에서 효과적이기는 하나 simple choice of the interaction function으로 한계가 존재한다.

내적(inner product)은 선형적(linearly)으로 latent vector를 결합하기 때문에, 복잡한 구조의 user interaction data에 대해서는 효과적이지 못하다. 이러한 문제는 보완하기 위해 본 논문에서는 deep neural networks(DNNs)를 사용한다.

최근 DNNs를 recommendation task에 많이 적용하였고, 신뢰성있는 결과를 보여줬지만 대부분 auxiliary information에 DNNs을 사용했다. 결국 user와 item latent feature을 합치기 위해 여전히 MF를 사용했다.

본 논문에서는 위의 문제를 해결하기 위해서 implicit feedback에 초점을 두었다.

❓ Implicit feedback이란?
행동을 통해 간접적으로 사용자의 선호도를 반영할 수 있다.

• 비디오 시청
• 상품 구입
• 상품을 클릭

explicit feedback과 비교했을 때 implicit feedback은 자동적으로 추적될 수 있으며, 비교적 수집하기 쉽다. 그러나 사용자의 만족도가 관찰되지 않고, negative feedback의 natural scarcity가 있기 때문에 사용함에 있어 어려움이 있다.

본 논문의 주요 contribution은 다음과 같다.

• neural networks에 기반한 CF 방법 제시(NCF)
• MF는 NCF의 특별한 케이스가 됨을 증명
• 다양한 실험을 통한 NCF의 효율성 증명

---

2. Preliminaries

먼저 implicit feedback 기반의 CF에 내적을 이용하는 MF를 적용하는 것은 한계가 있음을 보인다.

2.1 Learning from Implicit Data

user-item interaction matrix $Y\in R^{M \times N}$ 로 나타낸다. 이때 matrix의 원소는 다음과 같은 user’s implicit feedback으로 구성된다.

👉🏻 $y_{ui}$의 1 값은 user $u$과 item $i$ 사이의 상호작용이 있음을 뜻한다. 그러나 이는 $u$가 $i$을 실제로 좋아한다는 의미는 아니다.

유사하게, $y_{ui}$의 0 값은 $u$가 $i$을 실제로 싫어한다는 의미가 아니다.
→ 사용자가 상품을 모를 가능성이 있다!

이렇게 사용자의 선호도에 대한 noisy signals이 제공되기 때문에 implict data를 학습하는데 어려움이 있다.

implicit feedbaack 추천문제는 $y_{ui}$가 1이 될 확률을 예측하는 문제로 귀결되며 이는 다음과 같이 표현될 수 있다.

Objective function

Objective function란 학습을 통해 최적화시키려는 함수이다.

두 종류의 Objective function이 해당 분야에서 가장 흔하게 사용된다.

1️⃣ pointwise loss

예측값과 실제값 사이의 차이를 최소화 시키는 방향으로 진행되며, 보통 회귀문제에서 많이 사용된다.

$Pointwise Loss = min \frac{1}{2} (\hat{y}_{u,i}-y_{u,i})^2$

2️⃣ pairwise loss

관찰된 entries가 관찰되지 않은 entries보다 순위가 높을 것이라는 아이디어를 차용

관측값($\hat{y}_{u,i}$)과 관측되지 않은 값($\hat{y}_{u,j}$) 사이의 마진은 최대화 시키는 방향으로 진행된다.

$PairwiseLoss=max(0,f(\hat{y}_{u,i}) - f(\hat{y}_{u,j}) + \alpha )$
$s.t$
$rank(\hat{y}_{u,i}) > rank(\hat{y}_{u,j})$

본 눈문에 따르면 NCF는 interaction function $f$에 neural networks를 사용한 것으로, 이 경우 자연스럽게 pointwise loss와 pairwise loss 모두를 이용할 수 있다.

2.2 Matrix Factorization

MF는 $p_u$와 $q_i$의 내적을 통해 interaction $y_{ui}$를 예측하며 식은 아래와 같다.

이 때, $p_u$와 $q_i$는 사용자 $u$와 상품 $i$의 잠재 벡터를 의미한다.

• K : latent space의 차원

💡 MF의 특징

1. 사용자와 상품의 latent factors의 양방향 interaction을 모델링한다.
2. 각각 독립적이고 같은 가중치로 선형 결합을 한다.
3. latent factor의 linear model로 여겨진다.

MF의 한계

본 논문에서는 추천 시스템에서의 MF의 한계를 지적한다. MF는 사용자와 상품을 동일한 latent space에 매핑하고 이를 내적으로 유사도를 구한다.

1️⃣ ex) (a) user-item matrix에서 $u_1,u_2,u_3$을 이용해서 유사도를 구해보자

▶︎ $s_{ij}$는 user $i$와 $j$의 유사도를 나타낸다.

$s_{23}(0.66)>s_{12}(0.50)>s_{13}(0.40)$

이를 (b)와 같이 $p_1,p_2,p_3$를 이용해 latent space에서 기하학적으로 표현한다면 user 2와 user 3이 가장 가깝고, user 1과 user 3이 가장 가까이 위치함을 볼 수 있다.

2️⃣ ex) 예시 1에 $u_4$을 추가해 유사도를 구해보자

▶︎ $s_{ij}$는 user $i$와 $j$의 유사도를 나타낸다.

$s_{41}(0.60)>s_{43}(0.40)>s_{42}(0.20)$

이는 user 4와 user 1이 가장 유사하고, 다음으로 user 3, user 2가 유사함을 의미한다. 하지만 이를 (b)에서 표현하기 위한 $p_1$과 가장 가까우면서 $p_3$보다 $p_2$에 더 가까운 $p_4$ 벡터를 찾을 수 없다.

이는 MF가 복잡한 user-item interaction을 저차원의 latent space로 투영시키는데 한계가 있음을 보여준다. 때문에 본 논문에서는 DNNs을 사용한 interaction function을 학습시킴으로써 이 한계를 다루고자 한다.

3. Neural Collaborative Filtering

3.1 General Framework

본 논문에서는 아래의 그림과 같이 user-item interaction $y_{ui}$를 모델화하기 위한 multi-layer를 적용했다.

• Input Layer

  • 두개의 feature vectors $v^U_u$, $v^I_i$로 구성되어있다.(user $u$와 item $i$을 설명)
  • 본 논문은 순수한 collaborative filtering setting에 초점을 두기 때문에, 오직 user와 item의 id만을 사용한다. 이 때 id는 one-hot encoding을 통해 binarized sparse vector로 변환된다.

• Embedding Layer

  • fully connected layer : sparse한 벡터를 dense한 벡터로 매핑한다.

• Neural CF Layer

  • user embedding과 item embedding을 input값으로 받는다.
  • latent vector를 prediction score로 매핑한다.
  • 각각의 layer는 user-item intersctions의 확실한 잠재 구조를 발현하기 위해 customized 될 수 있다.
  • hidden layer의 마지막 층인 X는 모델의 능력을 결정한다.

• Output Layer

  • score $\hat{y}_{ui}$를 예측한다.

  • pointwise loss($\hat{y}_{ui}$와 $y_{ui}$의 차이)를 최소화한다.

  • NCF의 예측 모델을 아래와 같다.

    

    • $P \in R^{M \times K}$, $Q \in R^{N \times K}$ : latent factor matrix for users and items

    • $f$ : multi-layer neural network

      

3.1.1 Learning NCF

본 논문은 implicit data의 이진 속성에 특별한 주의를 기울이는 pointwise NCF를 학습하기 위한 확률론적 접근법을 제시한다.

• 만약 $y_{ui}$가 1이라면 item $i$가 user $u$와 관련이 있음을 의미하고, 0이라면 반대를 의미한다.
• prediction score $\hat{y}_{ui}$는 얼마나 $i$와 $u$가 관련이 있는지 표현하며 $[0,1]$의 범위를 가진다. 이를 도출하기 위해 Logistic 혹은 Probit function같은 probabilistic function을 활성화 함수($\phi_{out}$)로 사용한다.

▶︎ (6) likelihood function

▶︎ (7) negative logarithm of the likelihood

(7)식을 objective function으로 사용하며 SGD를 이용해 $L$ 값이 최소화 되는 최적의 파라미터를 찾는다.

이 때 (7) 식은 binary cross-entropy loss (log loss)의 수식과 동일하다. 즉, NCF 결과값에 확률적 처리를 진행함으로써 implicit feedback recommandation problem을 binary classification problem으로 다룰 수 있다.

---

3.2 Generalized Matrix Factorization (GMF)

본 챕터에서는 어떻게 MF가 NCF의 특별한 케이스가 되는지 보여준다.

• mapping function of the first neural CF layer

  

  • latent vector $p_u$ be $P^Tv^U_u$
  • latent vector $q_i$ be $Q^Tv^I_i$
  • ◉는 벡터의 element-wise product을 뜻한다.

• output layer

  

  • $a_{out}$ : 활성화 함수
  • $h$ : edge weights

만약 $a_{out}$가 identity function이고 $h$가 $h^T=[1,...,1]_{1 \times k}$의 형태라면 완전히 MF model이 된다.

만약 $a_{out}$가 non-linear function이라면 MF를 non-linear setting으로 일반화 시킬수 있다.

이때, 만약 $a_{out}$가 sigmoid function ($\sigma(x)=1/1(+e^{-x})$)이고, $h$가 $h^T=[h_1,...,h_k]_{1 \times k}$의 형태를 띄고 있다면 이를 GMF(MF를 일반화한 모델)이라고 한다. 이때 $h$는 위의 log loss로 부터 얻어온 data이다.

3.3 Multi-Layer Perceptron(MLP)

NCF는 input Layer로 item과 user 2가지 경로를 사용하기 때문에 두 경로를 연결하는 과정이 필요하다.

다른 딥러닝 문제에서와 달리, item vector와 user vector를 단순연결하는 것은 user–item latent 상호작용 (latent 구조)을 설명하지 않으므로 CF를 모델링하기엔 불충분하다.

따라서 본 논문에서는 vector를 합치는 구간에 hidden layer를 추가하여 사용자와 상품간의 latent feature사이의 상호작용을 학습하는 표준 MLP 사용을 제안한다.

GMF는 linear하고 fixed한 특징으로 인해 user 와 item간의 복잡한 관계를 표현하지 못하는 반면 MLP는 non-linear하고 flexible 하기 때문에 보다 복잡한 관계를 표현할 수 있다고 한다. 이에 따르면 MLP는 위와 같이 파라미터라이징 된다.

• $W_x$ : $x$번 째 층의 weight matrix
• $b_x$ : $x$번 째 층의 bias vector
• $a_x$ : $x$번 째 층의 활성화 함수
• $\phi_1$ : 1번 neural CF layer(Layer 1) 함수 = user와 item의 latent vector를 concatenation하는 함수
• $\phi_x(x>=2)$ : Neural Net 함수, weight matrix와 bias vector로 잠재 구조를 학습
• $\phi_L$ : non-linear 구조

3.4 Fusion of GMF MLP

본 논문은 아래 그림과 같이 GMF와 MLP를 통합한 모델(NeuMF)을 제시한다. 이는 각자가 가진 장점을 살릴 수 있는 반면 단점은 서로 보완할 수 있다고 한다.

가장 큰 특징은 GMF와 MLP가 같은 embedding layer를 공유하고 그들의 interaction function의 결과를 합친다는 점이다.

위의 식은 one-layer MLP와 GMF를 합친 모델이다.

fused model에서 더 유동성을 제공하기 위해 GMF와 MLP가 separate embedding을 학습하도록 했고, 마지막 hidden layer에서 concatenation을 함으로써 두 모델을 결합한다.

💡 식은 아래와 같다.

• $p^G_u,p^M_u$는 GMF와 MLP에서의 사용자 임베딩이다.
• $p^G_i,p^M_i$는 GMF와 MLP에서의 상품 임베딩이다.
• $\hat{y}_{u,i}$를 구할 때는, 각 모델에서 나온 output인 $\phi^{GMF}$와 $\phi^{MLP}$를 concatenation하여 $h$로 가중치를 줘 최종 값을 구하게 된다.

3.4.1 Pre-training

GMF와 MLP의 사전 학습된 모델을 사용하여 NeuMF를 초기화한다.

• GMF와 MLP 매개변수를 무작위로 초기화한 상태에서 학습이 시작되며 수렴할 때까지 진행한다. GMF와 MLP 최적화에는 Adam(Adaptive Moment Estimation)을 사용한다.

• 사전 학습으로 얻은 매개 변수로 NeuMF 매개 변수를 초기화한다.가중치 α를 기준으로 두 모델를 연결한다. NeuMF 최적화에는 vanilla SGD를 사용한다