MLP based Recommender Systems Architecture [2022]

1. DIAG: A Deep Interaction-Attribute-Generation model for user-generated item recommendation

• 사용자 생성 항목 추천을 위한 딥 인터랙션-속성 생성 (DIAG) 이라는 새로운 모델 제안.
• 사용자 항목 상호 작용 관계, 사용자 항목 생성 관계 및 항목 속성 정보를 하나의 딥 러닝 프레임워크로 통합
• 사용자 아이템 생성 정보를 모델링하기 위한 새로운 아이템-아이템 열병합 생성 네트워크 설계
• 그래프 어텐션 네트워크를 채택하여 한 항목이 공동 생성된 항목에 미치는 적응적 영향을 고려하여 사용자 항목 생성 및 항목 속성 정보로부터 항목 특징 벡터를 학습
  

2. A Ranking Recommendation Algorithm Based on Dynamic User Preference

• 사용자 및 항목의 선형 및 비선형 상호 작용 프로세스에 맞는 어텐션 메커니즘을 기반으로 한 새로운 신경망 아키텍처 제안.
• A-DNR이라는 2단계 추천 모델을 소개함. 주의 메커니즘 네트워크를 통해 사용자의 단기 선호도를 모델링하고 이를 사용자의 장기 선호도와 융합하여 동적 사용자 선호도를 생성.
• 행렬 인수 분해 (MF) 모델과 다층 퍼셉트론 (MLP) 모델을 통해 고차 및 저차 특징 상호 작용을 각각 모델링.
• 완전 연결 계층을 통해 특징을 융합하고 벡터를 점수에 매핑하여 순위 목록을 출력.
  

3. A Recommendation System Framework to Generalize AutoRec and Neural Collaborative Filtering

• 협업 필터링을 위한 일반 신경망 기반 프레임워크 제안.
• 외견상 다른 신경망 기반 CF 아키텍처인 AutoRec과 NCF가 이 프레임워크의 특수한 사례임.
• 이 프레임 워크에서 각 모듈에서 다른 요소를 선택하여 AutoRec 및 NCF의 변형을 분류.
• 최첨단 구조물의 체계적인 비교를 수행하고 프레임 워크의 변화에 따른 영향을 식별하는 능력.
• 이 방법군의 새로운 변형에 대한 방향을 제시할 수 있는 잠재력.
  

4. Deep Collaborative Recommendation Algorithm Based on Attention Mechanism

• 복잡한 매칭 기능과 사용자 항목 하위 관계 학습의 유연성을 효과적으로 조정하기 위한 주의 메커니즘 (DACR) 기반 심층 협업 추천 알고리즘을 제안함.
• 제안된 모델은 두 가지 유형의 협업 필터링 (CF) 방법을 사용하여 서로 다른 관점에서 사용자 항목 표현을 얻은 다음 두 가지 방법에서 학습된 표현을 결합하여 공통의 심층 협업 필터링 프레임워크에 통합
• 사용자 항목에 대한 낮은 순위 관계와 다양한 관점에서 사용자 항목 표현과 매칭 점수 간의 매핑 기능을 학습함.
• 어텐션 메커니즘은 사용자 항목 표현에 다양한 가중치를 적응적으로 할당하여 암시적 피드백에 숨겨진 정보를 캡처하는 데 사용됨.
• 제안된 모델은 암묵적 피드백에 숨겨진 비선형 정보뿐만 아니라 사용자-항목 쌍의 낮은 순위 관계를 고려하여 보다 정확한 예측을 도출하면서 모델의 표현 능력을 향상시킴.
  

5. DeepSet: Deep Learning-based Recommendation with Setwise Preference

• 다양한 신경 계층에서 설정별 선호도를 활성화하여 신경 협력 필터링 방법의 학습 능력을 향상시키기 위한 DeepSet이라는 새로운 솔루션을 제안.
• 제안된 솔루션은 일반적으로 단일 항목에 정의된 기본 선호도 가정으로 인해 권장 성능이 떨어지는 기존 딥 러닝 기반 OCCF 방법의 한계를 해결하는 것을 목표로 함.
• 모델 학습 과정에서 기본 가정에 대한 설정별 선호도를 조정하여 딥 러닝 기반 추천 방법의 역량을 정당화 함.
• 제안된 솔루션은 새로운 모델 파라미터를 도입하지 않으며 기존 딥러닝 기반 방법의 성능을 효과적으로 높일 수 있음.
• 최첨단 추천 성과를 달성하기 위한 복잡한 패턴을 캡처하는 데 있어 딥 러닝 기법의 우수성을 충분히 장려해야 할 필요성을 강조.
  

6. Dual attention recommendation algorithm based on item attributes

• 항목 속성 정보를 기반으로 가장 관련성이 높은 이중 관심 권장 알고리즘 (DRAA) 제안.
• 사용자 항목 평가, 개별 항목 속성 및 상호 영향을 종합적으로 고려
• 사용자 항목 기록 상호 작용을 통해 항목에 대한 각 사용자의 전반적인 선호도를 구축
• 로컬 셀프 어텐션 네트워크를 사용하여 항목의 개별 속성에 대한 보다 세분화된 사용자 선호도를 마이닝.
• 글로벌 관심 네트워크를 적용하여 두 가지 유형의 선호도 간의 중요도를 구분.
• 예측 정확도 측면에서 최첨단 딥 모델을 능가하고 콜드 스타트 및 데이터 희소성 문제를 해결.
• 가장 관련성이 높은 이중 네트워크를 통해 사용자의 판단 프로세스 학습
  

7. IntegrateCF: Integrating explicit and implicit feedback based on deep learning collaborative filtering algorithm

• 협업 필터링 (CF) 을 위한 Non-IID 학습을 기반으로 한 새로운 추천 모델 제안.
• “IntegrateCF”라는 프레임워크에 명시적이고 암시적인 피드백을 통합하여 CF 권장 사항에 사용자 항목 결합을 투영.
• 심층 오토인코더 컨볼루션 신경망 (ConvNet) 에서 학습한 심층 인트라 속성 커플링과 사용자 및 항목을 설명하는 명시적 Inter 속성 커플링에 따라 명시적 및 암시적 사용자 항목 커플링을 공동으로 학습하고 혼합.
• 명시적 및 암시적 결합 상호 작용을 통합하여 데이터 희소성 및 콜드 스타트 문제와 같은 CF의 결함을 해결.
  

8. Neural Attention Networks for Recommendation with Auxiliary Data

• 등급 예측 작업의 협업 필터링을 위한 신경망 권장 모델 (NARec) 이라는 신경망 프레임워크 제안
• 잠재 기능, 속성 기능, 관계 기능의 세 가지 측면에서 사용자 및 항목의 유용한 기능을 추출.
• 다양한 사용자 및 항목 기능을 관심 메커니즘 기반 추천용 등급 예측 모델에 통합하여 사용자 및 항목의 개인화된 특징을 적응적으로 특성화할 수 있음.
• 기존 보조 데이터 기반 방식의 두 가지 문제점, 즉 유용한 추천 기능의 상실과 서로 다른 항목의 동일한 특성에 대한 사용자 선호도가 동일하지 않다는 잘못된 가정 문제 해결
  

9. Neural Matrix Factorization Recommendation for User Preference Prediction Based on Explicit and Implicit Feedback

• 추천 시스템 구축을 위한 명시적 암시적 피드백을 기반으로 하는 신경 매트릭스 인수 분해 추천 알고리즘 (EINMF) 제안
• 심층 신경망 잠재 인수 분해 모델을 사용하여 사용자 및 항목에 대한 심층적인 특징 표현을 확보하여 명시적 등급과 암시적 피드백을 모두 활용.
• 명시적 피드백은 사용자의 명시적 선호도와 잠재적 선호도를 정확하게 반영하여 추천 모델을 구축하는 데 사용됨.
• 모델 파라미터의 최적화 및 업데이트를 위해 사용자 상호 작용의 명시적 피드백 및 암시적 피드백의 정보를 최대한 활용하는 새로운 손실 함수 구성
• 크기와 희소성이 다른 데이터 세트에 대해 EINMF 알고리즘의 추천 성능을 다른 기준 모델과 비교 및 분석하여 EINMF가 항상 최고의 성능을 제공한다는 것을 보여줌.
  

10. POI Recommendation Method of Neural Matrix Factorization Integrating Auxiliary Attribute Information

• 신경 매트릭스 분해를 기반으로 보조 속성 정보를 융합하여 컨볼루셔널 신경망과 주의 메커니즘을 통합하는 NuEMF-CAA라는 새로운 POI 추천 방법을 제안함.
• k-평균 및 용어 빈도-역문서 빈도 (TF-IDF) 알고리즘을 사용하여 사용자 체크인 데이터로부터 사용자 및 POI의 보조 속성 정보를 구성하여 데이터 희소성 문제를 완화.
• 보조 속성 정보의 표현을 학습하고 보조 속성 정보의 중요성을 구분하기 위해 컨볼루셔널 신경망과 어텐션 메커니즘을 각각 적용.
• 사용자 및 POI의 보조 속성 정보 특징 벡터를 각각의 잠재 특징 벡터와 연결하여 사용자 및 POI의 완전한 잠재 특징 벡터를 얻음.
• 일반화 행렬 인수 분해 (GMF) 와 다층 퍼셉트론 (MLP) 을 사용하여 각각 사용자와 POI 간의 선형 및 비선형 상호 작용을 학습하고, 마지막 히든 레이어를 연결하여 두 부분을 통합하여 암묵적인 피드백 문제를 완화하고 추천 결과를 보다 쉽게 해석할 수 있도록 함.
• Foursquare 데이터셋과 Weibo 데이터셋이라는 두 가지 실제 데이터세트를 대상으로 한 실험에서는 제안된 방법이 평가 지표 적중률 (HR) 과 정규화된 할인 누적 이득 (NDCG) 을 크게 향상시키는 것으로 남.

11. Simultaneous Learning of the Inputs and Parameters in Neural Collaborative Filtering

• 신경망 기반 협업 필터링 시스템에서 신경망 매개변수와 함께 입력의 0이 아닌 요소의 값을 학습하는 방법을 제안
• 입력값을 사용자/항목 상호 작용 벡터 및/또는 ID에 고정하면 표현을 학습하는 데 있어 모델의 성능이 제한되고 입력값의 0이 아닌 요소가 사용자/항목 임베딩을 조합할 때 가중치를 결정하는 학습 가능한 매개변수라는 것을 보여줌
• 제안된 접근 방식의 모델 복잡성과 경험적 위험을 분석하고 입력 내용을 학습하는 것이 더 나은 일반화로 이어진다는 것을 증명함.
• 여러 실제 데이터 세트에 대한 실험을 수행한 결과, 제안된 방법이 계층 및 파라미터 수가 적은 얕은 네트워크 구조를 사용하더라도 최신 방법보다 성능이 뛰어나다는 것을 보여줌.
  

12. SDNN: Symmetric deep neural networks with lateral connections for recommender systems

• 고차원 공간과 저차원 공간이라는 두 가지 관점에서 사용자 항목 표현과 매칭 점수 간의 복잡한 관계를 학습하여 추천 성능을 향상시키는 데 도움이 되는 측면 연결이 있는 새로운 SDNN (Symmetric Deep Neural Networks) 을 제안.
• SDNN을 개선된 심층 행렬 분해 모델과 결합하여 사용자와 항목 간의 복잡한 매핑 관계와 하위 순위 관계를 공동으로 학습하는 새로운 프레임워크인 이중 협업 필터링 (DualCF) 을 제안.
• SDNN을 개선된 심층 행렬 분해 모델과 결합하여 사용자와 항목 간의 낮은 순위 관계를 파악하는 데 있어 심층 신경망의 비효율성을 해결함.
  

13. BRUCE: Bundle Recommendation Using Contextualized item Embeddings

• 번들 추천을 위한 BRUCE (상황별 항목 임베딩을 사용한 번들 추천) 라는 새로운 모델을 제안. Transformer를 수정하여 사용자, 아이템 및 번들에 대한 데이터를 표현.
• BRUCE를 사용하면 자주의 메커니즘을 활용하여 번들 내 항목 간의 잠재적 관계와 번들 내 각 항목 및 전체 번들에 대한 사용자의 선호도를 모델링할 수 있음.
• 항목과 사용자의 정보를 통합하기 위한 다양한 아키텍처를 검토하고 데이터 특성을 기반으로 아키텍처 선택에 대한 통찰력을 제공.
• 제안된 접근 방식은 세 가지 벤치마크 데이터 세트에 대한 실험을 수행하여 평가되며, 그 결과 항목의 컨텍스트와 사용자 상호 작용을 모델링하면 번들의 추천 정확도가 향상되는 것으로 나타남.
• 추천 시스템 분야, 특히 전자 상거래에서 아이템 홍보를 위한 중요한 마케팅 전략인 번들 추천 분야에 기여하고 있습니다.
  

14. Context and Attribute-Aware Sequential Recommendation via Cross-Attention

• 사용 가능한 항목 속성과 함께 사용자 프로필의 동적 특성 및 컨텍스트 변경을 캡처할 수 있는 유연한 컨텍스트 및 속성 인식 항목 추천 모델 (CARCA) 을 소개
• 컨텍스트 및 속성 인식 추천 모델 (CARCA) 은 멀티 헤드 셀프 어텐션 블록을 활용하여 프로필 수준의 특징을 추출하고 항목 점수를 예측하고 멀티 헤드 크로스 어텐션 블록을 활용하여 사용자 프로필의 특징이 대상 항목에 미치는 영향을 파악하면서 속성 및 컨텍스트 특징을 고려 함.
• 다양한 모델 구성 요소가 예측 성능에 미치는 영향을 분석하기 위한 포괄적인 어블레이션 연구
  
  

15. Effective and Efficient Training for Sequential Recommendation using Recency Sampling

• 순차적 추천 모델에 대한 기존 training 목표의 한계를 해결하는 새로운 최근 기반 시퀀스 샘플링 훈련 목표를 제안.
• 제안된 방법은 Gru4Rec, Caser 및 SASRec과 같은 다양한 최신 및 최첨단 모델 아키텍처에 적용됨.
• 제안된 방법으로 향상된 모델은 최신 Bert4Rec을 능가하거나 이에 매우 근접한 성능을 얻을 수 있지만 훈련 시간은 훨씬 짧음.
• 순차적 추천 모델에 대한 training 목표에 대한 기존 접근 방식의 두 가지 주요 한계를 식별하고 목표에 적합한 손실 함수를 제안.
  

16. Modeling User Repeat Consumption Behavior for Online Novel Recommendation

• 온라인 소설 읽기 플랫폼의 신규 사용자에게 온라인 소설을 추천하기 위한 NovelNet이라는 신경망을 제안.
• 신규 사용자의 반복적인 소설 소비의 중요성과 사용자 행동의 정확한 예측을 위한 사용자와 소설 간의 상호 작용의 유익한 특성을 강조.
• 유명한 온라인 소설 읽기 플랫폼을 기반으로 온라인 소설 추천 데이터 세트를 구축하여 벤치마크로 대중에게 공개함.
• 신규 이용자들이 이미 알고 있는 소설을 추천할 수 있는 명확한 동기를 제시하고, 온라인 소설 읽기 플랫폼에 익숙하지 않을 수 있는 신규 이용자들에게 지름길을 제공하기 위해 중요한 온라인 소설 추천 시나리오 두 가지를 설명함.
• 온라인 소설 추천과 기존의 도서 추천을 구분하고 소설을 한 번 이상 접해본 경험이 있는 신규 사용자에게 소설을 추천하는 데 중점을 둠.
  

17. Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)

• 추천을 위한 “프리트레인, 맞춤형 프롬프트, 예측 패러다임” (P5) 이라는 유연하고 통일된 텍스트-텍스트 변환 패러다임을 제안하며, 이는 다양한 추천 작업을 공유 프레임워크로 통합함.
• P5는 사용자 항목 상호 작용, 사용자 설명, 항목 메타데이터 및 사용자 리뷰와 같은 모든 데이터를 공통 형식 (자연어 시퀀스) 으로 변환하여 P5가 개인화 및 추천을 위한 심층적인 의미를 캡처할 수 있도록 도와줌.
• P5는 사전 학습 중에 동일한 언어 모델링 목표를 가진 다양한 작업을 학습함. 다양한 다운스트림 추천 작업의 기본 모델이 되고 다른 양식과 쉽게 통합되며 지침 기반 추천이 가능.
• P5는 추천 시스템을 얕은 모델에서 심층 모델, 대형 모델로 발전시키고 추천 시스템의 기술적 형태를 범용 추천 엔진으로 혁신할 것.
• 다양한 사용자를 위한 적응형 맞춤형 프롬프트를 통해 P5는 제로 샷 또는 퓨어 샷 방식으로 예측을 수행할 수 있으며 광범위한 미세 조정의 필요성을 크게 줄임.
• 소스 코드, 데이터 세트, 프롬프트 및 사전 학습된 P5 모델을 공개하여 언어 처리로서의 권장 사항 (RLP), 맞춤형 기반 모델 (PFM) 및 범용 추천 엔진 (URE) 에 대한 향후 연구를 발전시키는 데 도움이 됨.