[부스트캠프 AI Tech 5기] 비정형 데이터를 활용한 Recommender System

앞선 강의에서는 Explicit, Implicit 등을 통해 평점 및 랭킹을 추천 함

• 모든 문제의 근본은 아이템 수와 유저의 수가 지속적으로 증가하여 변화하기 때문
• 희소성, 콜드 스타트, 취향이 독특한 사용자, 정보에 대한 질적 해석이 중요
• 또 다른 정보를 활용하여 이 문제를 해결할 수 있지 않을까?

• 비정형 데이터를 마치 정형 데이터 인 것 처럼 사용하면 됨
• 이를 통해 새로운 아이템, 인기 없는 아이템, 설명력, 다양한 맥락 정보 등의 장점을 얻음
• 이를 위해서는 공통적으로 딥 러닝이 필요
• 비정형 데이터 활용은 컨텐츠 기반 추천 시스템으로, 협업 필터링과 함께 활용해야 큰 강점을 지님

Why DL?

• Learning Nonlinearity
• Representation Learning
• Various Architectures
• Flexible Structure

Image Data

Image Based Recommendation

• 사람이 상품 이미지를 어떻게 인식하는지를 활용
• 상품 이미지 속에 숨겨진 시각적 관계를 이해
• 어떤 아이템끼리 잘 어울리는지 추천
• 시각적 이미지 특징을 추출하기 위해 CNN을 사용하여 F차원으로 계산
• 객체 간의 시각적 유사성만 모델링하기 위해 Mahalanobis transform 사용
• 대규모 이미지 데이터를 활용하여 인간의 시각적 선택에 대한 개념을 모델링할 수 있음

VBPR

• Visual Bayesian Personalized Ranking from Implicit Feedback
• 이미지 비정형 데이터를 추가하여 베이지안 이론을 기반으로 개발한 추천 시스템
• FM 기반
• 추천 결과에 대한 시각적 차원의 해석 도움
• 대규모 데이터 활용을 위해 MF 알고리즘 사용
• 제품을 선택할 때 고려하는 시각적 차원을 모델로 학습
• 이를 통해 cold start problem을 보완

Text Data

Joint Deep Modeling

• 사용자 리뷰에는 많은 양의 정보가 존재
• 리뷰는 사용자와 아이템의 희소성 문제를 완화
• Review Data에서 사용자 행동과 아이템 속성을 학습하기 위한 모델 제안
• DeepCoNN 제안
• Rating Prediction 해결
  

Model

• 유저 벡터와 아이템 벡터를 임베딩하고 컨볼루션 한 벡터를 Concat 해 모델 학습에 사용

Conclusion

• 사용자에게 최선의 제품을 추천하기 위해 리뷰 데이터를 활용
• 리뷰를 바탕으로 행동과 특징, 특성과의 상호작용을 학습하는 모델
• 우수한 성능을 보이기에 희소성 문제를 효과적으로 완화

Joint Training of Ratings and Reviews with RNN

• 이전에는 CNN으로 텍스트를 처리 했음
• 시간 적인 패턴을 RNN을 사용하여 학습
• 사용자와 아이템의 동적 구성 요소 특징 추출
• SOTA인데 4장 밖에 안됨

Introduction

• 예측 정확도는 미래 시점의 평가를 하지 않음
• 최신 자연어 처리 기술에 크게 뒤쳐진 리뷰 데이터 모델
• rating과 review를 Recurrent 기반 Arch로 학습한 모델

Model

Rating Layer

Review Layer

• 벡터라이징 후 RNN을 통한 학습

Conclusion

• Recurrent 구조를 사용하여 Rating, Review를 함께 모델링하는 새로운 구조
• rating과 review 정보를 공유하는 구조가 문제를 해결하는 데 더 우수한 Latent Vector를 생성

Multi-Modal

• 다양한 형태의 정보를 통합한 Data

TabNet

• 구글 클라우드 AI에서 개발한 Arch
• 트리 기반 앙상을 모델의 결정 방식을 딥 러닝으로 구현
• 이미지, 텍스트와 같은 비정형 데이터를 함께 사용 가능
• Feature Engineering이 필요 없으며, end-to-end 모델로써 활용 가능

Model

Feature Transformer

• LSTM의 forget gate와 유사하며, 정보를 얼마나 흘려보낼지를 선정

Decision Blocks

• 의사 결정 나무와 같이 변수 선택을 딥 러닝에 적용하기 위해 상호독립적인 출력값을 결합하는 구조
• 트리 기반 부스팅과 유사하며, 개별 Mask는 전체 취합시 global 해석이 가능