User Features

• user id, device id, browser cookie
• gender, age, interest
• page view, item rate, interactive feedback

Item Features

• item id
• item features

User-Item Interaction

• Explicit Feedback
• Implicit Feedback(click, view)

Metric

추천 시스템은 크게 두 가지 task로 분류할 수 있다.

Ranking

유저에게 적합한 Top K개를 추천. 유저가 아이템에 가지는 정확한 선호도가 필요없음

• Precision@K

  우리가 추천한 K개 아이템 가운데 실제 유저가 관심있는 아이템의 비율

• Recall@K

  유저가 관심있는 전체 아이템 가운데 우리가 추천한 아이템의 비율
  

• MAP@K

  모든 유저에 대한 Average Precision 값의 평균
  

• nDCG@K

  

Prediction

평점이나 클릭/구매 확률 예측

• MAE
• RMSE
• AUC
  그리고 이에 대한 평가는 두 가지 관점으로 이루어진다.

비즈니스/서비스 관점

매출, PV 증가 여부 및 CTR 상승량

품질 관점

참신함, 연관성, 새로움, 다양성 등

인기도 기반

조회 수 혹은 평점이 가장 높은 것을 기준으로 추천을 하는 방식

조회 수 기반

뉴스 혹은 유투브 같은 것들은 시간이 매우 중요한 요소로 작용한다. 따라서 시간이 길어질수록 패널티를 주는 score가 필요하다.

Hacker News Formula

Reddit Formula

평점 기반

Steam Rating Formula