멀티모달 LLM/SLM의 임베딩을 사용한 추천시스템 리서치

멀티모달 LLM/SLM 임베딩 활용의 장점:

• 풍부한 정보 활용: 텍스트(상품 설명, 리뷰), 이미지(상품 사진), 때로는 오디오나 비디오까지 다양한 형태의 데이터를 이해하고 임베딩으로 변환하여 활용할 수 있습니다. 이를 통해 상품과 사용자의 특성을 더 깊이 있게 파악할 수 있습니다.
• 콜드 스타트 문제 완화: 신규 사용자나 신규 상품처럼 상호작용 데이터가 부족한 경우에도, 텍스트나 이미지 등 사용 가능한 콘텐츠 정보를 바탕으로 의미 있는 추천을 제공할 수 있습니다.
• 개인화 및 설명 가능성 향상: LLM의 자연어 이해 능력을 바탕으로 사용자의 미묘한 선호도를 파악하고, 왜 특정 상품을 추천하는지에 대한 설명을 생성하는 데 활용될 수 있습니다.
• 다양한 추천 시나리오 적용: 순차 추천, 상호작용 기반 추천, 교차 도메인 추천 등 다양한 추천 시나리오에 적용될 수 있습니다.

이커머스 적용 사례 및 관련 연구/논문:

LLM/SLM을 추천 시스템에 적용하는 연구는 빠르게 발전하고 있으며, 여러 기업과 연구 기관에서 관련 논문을 발표하고 있습니다. 다음은 주목할 만한 연구 방향과 논문 예시입니다.

1. 멀티모달 융합 프레임워크:

   • Walmart의 TMF (Triple Modality Fusion): 월마트 연구진이 제안한 프레임워크로, 시각(이미지), 텍스트, 그래프(사용자 행동) 데이터를 LLM(Llama2-7B 사용)과 융합하여 다중 행동 추천 시스템의 성능을 향상시킨 사례입니다. 실제 월마트 이커머스 플랫폼 데이터를 사용하여 실험했으며, 기존 모델 대비 높은 성능 향상을 보였습니다.
   • HistLLM: 사용자 히스토리(텍스트, 시각 정보)를 효율적으로 인코딩하고 압축하여 LLM 기반 멀티모달 추천 시스템의 성능을 개선하는 프레임워크를 제안한 연구입니다.
   • M3CSR (Kuaishou): 멀티모달 콘텐츠 임베딩(시각, 텍스트, 오디오)을 클러스터링하고 이를 ID로 변환하여 추천 모델에 활용하는 연구입니다.

2. LLM 기반 추천 시스템 프레임워크 및 서베이:

   • "Recommender Systems in the Era of Large Language Models (LLMs)" (arXiv:2307.02046): LLM을 추천 시스템에 통합하는 다양한 접근 방식(사전 학습, 미세 조정, 프롬프팅)을 포괄적으로 검토한 서베이 논문입니다.
   • "Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System" (KDD 2024): 협업 필터링(CF)의 임베딩 정보를 LLM 기반 추천 시스템에 효과적으로 통합하여 다양한 시나리오(Cold, Warm, Cross-domain 등)에서 성능을 개선한 A-LLMRec 모델을 제안한 논문입니다.
   • "Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond": 차세대 LLM 기반 추천 시스템에 대한 서베이 논문으로, 다양한 최신 연구와 산업 적용 사례를 다룹니다.
   • GitHub Repository (Awesome-LLM-Enhanced-Recommender-Systems): LLM 강화 추천 시스템 관련 논문들을 모아놓은 저장소로, 최신 연구 동향을 파악하는 데 유용합니다.

3. 이커머스 기업의 적용 노력:

   • Amazon: LLM을 활용하여 상품 추천 관련성을 높이고, 상식적 관계를 이해하여 더 나은 추천을 제공하려는 연구를 진행 중입니다. 또한, LLM을 활용한 대규모 이커머스 상식 지식 생성 및 서빙 시스템(COSMO)을 개발했습니다.
   • Alibaba: M6-Rec라는 범용 추천 모델을 제안하여, LLM을 기반으로 다양한 추천 작업을 통합적으로 처리하려는 연구를 수행했습니다.
   • 기타 이커머스 기업: Mercado Libre, Leboncoin 등 여러 이커머스 플랫폼에서 검색 관련성 개선을 위해 LLM을 활용하고 있습니다. 국내 스타트업 Corca도 이커머스 광고 추천 시스템에 LLM을 적용하고 있습니다.

고려사항:

• LLM 기반 추천 시스템은 높은 계산 비용과 추론 지연 시간 등의 문제가 있을 수 있습니다. SLM은 이러한 비용 문제를 완화할 수 있는 대안으로 연구되고 있습니다.
• 기존 추천 시스템 대비 LLM 기반 시스템의 추천 정확도가 항상 우수하지는 않으며, 성능 최적화를 위한 지속적인 연구가 필요합니다.
• 프롬프트 엔지니어링, 데이터 구성 방식, 미세 조정 전략 등이 모델 성능에 큰 영향을 미칩니다.