[논문 리뷰] DNN Youtube recommendation

https://research.google/pubs/deep-neural-networks-for-youtube-recommendations/

개요

딥러닝을 통해 서비스의 성능을 개선

• Scale: 높은 scale과 latency를 고려한 추천 알고리즘 적용
• Freshness: 새롭게 업로드되는 콘텐츠에 따라 실시간으로 사용자의 반응을 반영
• Noise: 사용자의 피드백 얻기 어렵고 메타데이터가 잘 구축되어 있지 않음

기술

추천 시스템 구조

유저 히스토리를 보고 협업필터링을 통해 candidate generate을 추려내고 추가 피처들을 추가해서 랭킹모델에 입력

• candidate generation model (후보 생성 모델)

  

  1. dense embedding: sparse를 각 영상 별 단어로 바꾸고 학습시킴
  2. input combiner: 모델학습을 위해 고정된 사이즈의 Input으로 변환
  3. Additional features: geographic embedding, example age, gender…
  4. DNN Layers (ReLU Stack): Fully-connected layer
  5. Softmax Prediction: 위의 layer의 결과로 나온 user embedding에 softmax 취해줌
  6. Serving (NNS Algorithm): 상위 N개 비디오

• ranking model

  

  1. Feature Embedding: input의 개수가 많지 않으므로 피처 추가

  2. Feature Engineering: 각 피처들을 가공

     → 연속성 가진 데이터는 summarize or 비슷한 비디오에 대한 유저의 반응

결론

• 유튜브는 딥러닝을 활용하여 추천 시스템의 성능을 향상시켰음
• Candidate generation model과 Ranking 모델을 활용하여 동영상 추천
• Candidate generation model: Dense Representation을 통해 임베딩 후 Nearest Neighbor Search 알고리즘 적용
• Rankind Model: Logistic Regression을 통해 후보군을 생성 후 사용자에게 노출할 영상 결정