[Recsys] Exploring Adapter-based Transfer Learning for Recommender Systems: Empirical Studies and Practical Insights

Exploring Adapter-based Transfer Learning for Recommender Systems: Empirical Studies and Practical Insights
2023.12

• 배경

  • 한 도메인에 최적화된 추천모델: 다른 도메인에 활용하고자 하면 모델 전체를 재학습시켜야 함(high cost)
  • 전이학습
  • but 대규모 추천모델: 파라미터 대부분 수정해야함

• NLP에서 활발히 적용중인 PEFT 기법을 추천시스템에 적용

• PEFT: adapter 활용
  -> 성능 유지 + 파라미터 효율적인 전이학습

• adapter
  

• pretrained 모델의 각 층에 작은 신경망 블록을 추가, 전이학습 시 이 모듈만 학습시킴

• 원래 모델 파라미터는 freeze