LLM for RecSys
개요 및 산업 수렴
대규모 언어 모델(LLM)과 추천 시스템(RecSys)의 교집합은 AI에서 가장 역동적인 연구 분야 중 하나입니다. 2025년 기준으로 RecSys 커뮤니티는 LLM과 전통적인 추천 시스템이 점점 더 통합되는 근본적인 수렴을 목격하고 있으며, 이는 개인화의 새로운 시대를 창출하고 있습니다[1]. 이러한 변화는 고립된 실험을 넘어 프로덕션 준비 시스템으로 나아가고 있으며, YouTube와 LinkedIn 같은 주요 플랫폼들이 적극적으로 LLM 강화 추천 솔루션을 배포하고 있습니다[1].
핵심 기술 패러다임
생성형 vs. 판별형 접근법
LLM 기반 추천 연구는 두 가지 주요 패러다임을 중심으로 전개됩니다[2]. 생성형 접근법은 LLM을 사용하여 전체 아이템 풀에서 직접 추천을 생성하며, 이는 전통적인 다단계 프로세스(점수 계산, 리랭킹, 후보 선택)를 단순화합니다. 판별형 접근법은 LLM을 활용하여 문맥 정보로부터 더 나은 사용자 및 아이템 표현을 학습하며, 협업 신호를 의미론적 이해로 풍부하게 합니다.
이 구분은 시스템 아키텍처, 계산 요구사항, 그리고 전통적인 협업 필터링과 LLM 추론 간의 정보 흐름을 결정하므로 매우 중요합니다.
하이브리드 통합 모델
지배적인 트렌드는 LLM을 전통적인 협업 필터링(CF) 지식과 통합하는 것이며, 이는 단순한 교체가 아닙니다. ALLMRec과 A-LLMRec 같은 모델들은 협업 지식이 부족하면 LLM이 따뜻한 시나리오에서 전통적인 CF 방법들보다 성능이 떨어짐을 보여줍니다[3][4]. 해결책은 LLM이 사전 학습된 CF 모델의 임베딩을 직접 활용하면서 매개변수 효율성을 유지하도록 하는 것입니다[3].
AdaptRec 프레임워크는 LLM이 "사용자 기반 유사성 검색 프롬프트"를 통해 어떤 유사 사용자로부터 배울지 능동적으로 선택하는 자기 적응형 접근법을 구현함으로써 이 공간에서의 정교함을 예시합니다[5]. 이는 HR@1 개선에서 기존 방법 대비 7-18%, 특히 소수 샷 시나리오에서 달성합니다[5].
프롬프트 엔지니어링 및 전략적 최적화
고급 프롬프팅 방법론
프롬프트 엔지니어링은 중요한 최적화 차원으로 진화했습니다. 뉴스 추천을 위해 특별히 설계된 RecPrompt 프레임워크는 세 개의 구성 요소 최적화를 보여줍니다: 이전 추천을 기반으로 템플릿을 개선하는 프롬프트 최적화기, MRR, 정밀도, 재현율 등의 성능 메트릭을 추적하는 모니터, 그리고 반복적 피드백 루프입니다[6]. 주목할 만한 점은 GPT-4를 사용하는 LLM 생성 프롬프트가 이 분야의 모든 심층 신경망 기준을 능가한다는 것입니다[6].
지시형 프롬프트 최적화에 대한 최근 작업은 모델 매개변수를 수정하지 않고도 소수 샷 학습을 통해 콜드 스타트 추천 문제를 효과적으로 해결하는 프롬프트 기반 적응을 보여줍니다[7]. Precision@5, NDCG@10에서 사용자 특정 메타데이터와 구조화된 프롬프트(지시형 헤더, 2-10개의 유사 사용자 프로필 지원 세트, 콜드 스타트 메타데이터 포함)를 통해 성능이 꾸준히 개선됩니다[7].
연쇄 추론 및 추론 전략
연쇄 추론(Chain-of-Thought, CoT)과 다중 턴 토론(Debater-Critic Agent 시스템)의 적용은 새로운 트렌드를 나타냅니다. 이러한 접근법은 LLM이 단계별로 추론하고 협력적 숙의에 참여하도록 가이드하며, 단일 턴 생성과 비교하여 추천 품질을 크게 개선합니다[8].
지식 통합 및 검색 메커니즘
지식 그래프 검색 강화 생성
K-RagRec은 지식 그래프에서 구조 정보를 검색하여 LLM 추천을 강화하는 지식 그래프 검색 강화 생성(RAG)을 소개합니다[9]. 이 프레임워크는 외부 지식 강화가 필요한 아이템을 결정하는 인기도 선택적 검색 전략을 구현하며, 환각 위험을 해결하면서 추천 신뢰성을 개선합니다[9].
분류 가이드 제로 샷 접근법
TAXREC은 혁신적인 2단계 프로세스를 제안합니다: LLM에 의한 일회성 분류 후 추천 생성[10]. 이 접근법은 LLM 생성 분류법을 통해 아이템 풀을 압축하여 외부 지식 리소스 없이 효과적인 제로 샷 추천을 가능하게 합니다[10]. 분류 구조는 LLM이 광대한 아이템 공간을 더 효율적으로 탐색하도록 돕습니다.
효율성 및 비용 최적화
계산 효율성 과제
RecSys 2025에서 확인된 중요한 과제는 추천 품질과 계산 복잡성 간의 긴장 관계입니다[1]. LLM은 유망함을 보이지만, 프로덕션 배포는 추론 비용 및 실시간 성능 요구사항과 관련된 제약에 직면합니다[1].
매개변수 효율적 미세 조정
LoRA(Low-Rank Adaptation)는 표준 접근법이 되었으며, 품질을 유지하면서 미세 조정 비용을 최대 68% 감소시킵니다[11]. 추천 시스템에서 LoRA는 전체 모델 재훈련 없이 특정 도메인에 대한 LLM의 효율적인 특화를 가능하게 합니다[7]. 연구는 지식 증류와 결합된 매개변수 효율적 접근법이 정확성과 계산 부하 간의 최적 트레이드오프를 생성함을 보여줍니다[12].
하이브리드 미세 조정 및 RAG 전략
YouTube의 성공적인 배포는 주기적 미세 조정을 RAG와 결합하며, 이는 모델이 변화하는 사용자 관심에 적응하면서 계산 비용을 제어할 수 있게 합니다[1]. 이 "미세 조정과 RAG 균형 맞추기" 접근법은 대규모 프로덕션 환경에서 측정 가능한 성능 향상을 보여줍니다[1].
지식 증류 혁신
LLMD4Rec은 양방향 지식 증류를 도입하여 LLM 중심과 기존 추천 모델(CRM) 시스템 간의 동적이고 반복적인 최적화를 가능하게 합니다[13]. 일방향 접근법과 달리, 이 프레임워크는 CRM 의미론적 이해와 LLM 협업 필터링 인식을 모두 향상시키며, 추가 매개변수가 필요하지 않습니다[13].
Ensemble 지식 증류 패러다임은 이를 더욱 확장하여 여러 LLM 기반 추천 교사로부터의 지식 이전을 허용합니다[14].
순차 및 멀티모달 추천
LLM 강화 순차 모델
ReLRec은 리뷰에서 생성된 의사 레이블을 통해 사용자/아이템 텍스트 레이블을 다음 아이템 예측에 통합합니다[15]. 이 프레임워크는 사전 학습된 LLM 지식을 고정된 트랜스포머 레이어를 유지하면서 보존하며, 별도의 사용자-아이템 임베딩을 훈련하여 순차 추천을 개선하기 위한 미묘한 의미론적 정보를 캡처합니다[15].
PatchRec은 효율적인 LLM 기반 순차 추천을 위한 다중 입도 패치 훈련을 도입하며, 긴 사용자 히스토리를 처리하는 계산 오버헤드를 해결합니다[16]. 이 접근법은 시간적 종속성 캡처를 희생하지 않으면서도 효율적인 토큰 처리를 가능하게 합니다.
멀티모달 순차 추천
MLLM-MSR과 Molar 프레임워크는 다양한 모달리티(텍스트, 이미지, 오디오)를 LLM과 통합하여 순차 추천을 수행하며, 더 풍부한 사용자 선호도를 캡처합니다[17]. Molar는 특히 멀티모달 표현을 협업 필터링 임베딩과 정렬하여 콘텐츠 이해와 상호작용 패턴을 결합합니다[18].
순차 추천 및 세션 기반 시스템
연구는 GRU4Rec 같은 전통적인 모델의 적절한 하이퍼파라미터 튜닝이 더 새로운 그래프 신경망 기반 접근법과 비슷하거나 초과할 수 있음을 보여줍니다[1]. 이 통찰력은 LLM 통합과 함께 미래가 전체 아키텍처 교체보다는 최적화된 앙상블 접근법을 포함함을 시사합니다[1].
교차 도메인 및 전이 학습
LLM-EDT(LLM 강화 교차 도메인 순차 추천, 이중 단계 훈련)는 전이 가능한 아이템 증강기를 통해 교차 도메인 추천 과제를 해결하며, 이는 합성 교차 도메인 행동을 생성하고 도메인 불균형을 처리하는 이중 단계 훈련 전략을 구현합니다[19]. 이 접근법은 도메인 공유 및 도메인 특정 지식을 활용하면서 도메인 간 불균형을 처리합니다[19].
이 프레임워크는 LLM이 개방형 도메인 지식을 활용하여 제한된 겹치는 사용자가 있는 도메인 간 정보 격차를 메우는 데 탁월함을 보여줍니다[19].
대화형 추천 시스템
LLM 기반 CRS 아키텍처
대화형 추천 시스템(CRS)은 주요 응용 분야를 나타내며, LLM은 선호도 추출을 위한 자연어 이해를 가능하게 합니다. CRAVE(협업 언어화 경험을 가진 대화형 추천 에이전트)는 LLM 기반 대화 이해를 협업 필터링과 결합합니다[8].
이 시스템은 여러 에이전트가 독립적인 협업 경험 은행을 유지하면서 구조화된 대화에 참여하여 추천을 개선하는 debater-critic agent(DCA)를 구현합니다. 이 다중 에이전트 접근법은 단일 에이전트 시스템의 수렴적 사고 문제를 해결합니다[8].
CRS를 위한 데이터 증강
최근 작업은 CRS 훈련에서 거짓 음성 문제를 해결합니다. 여기서 레이블이 없는 아이템은 부정적 샘플로 잘못 나타납니다. LLM 기반 의미론적 검색은 다양하고 의미론적으로 관련된 아이템을 식별하며, 그 후 관련성 점수 매기기로 필터링됩니다[20]. 두 단계 훈련 전략은 의미론적 관련성과 협업 정보의 균형을 맞추며, 벤치마크 데이터셋 전반에서 일관된 개선을 보여줍니다[20].
평가 방법론 및 메트릭
표준 메트릭 및 그 진화
평가 메트릭은 전통적인 접근법에 기반합니다: Hit Rate(HR), Normalized Discounted Cumulative Gain(NDCG), 그리고 정밀도[21]. 그러나 LLM 문맥에서의 적용은 훈련 데이터셋 외부의 아이템을 생성하는 잠재적 환각으로 인해 미묘한 해석이 필요합니다[21].
Critic 기반 최적화 프레임워크
Critic-LLM-RS는 감독 미세 조정보다는 반복적 피드백을 통해 LLM 추천을 평가하고 개선하기 위해 별도의 추천 critic 모델(전통적 CF에서 훈련)을 사용할 것을 제안합니다[21]. 여러 피드백 라운드에서 테스트한 이 접근법은 직접 미세 조정과 비교하여 우수한 성능을 보여주며, 피드백 주도 최적화가 매개변수 조정을 능가함을 시사합니다[21].
공정성 및 설명 가능성 메트릭
LLM은 추천에 대한 자연어 정당화를 생성함으로써 추천 설명 가능성에서 상당한 개선을 가능하게 합니다[22]. 연구 커뮤니티는 점점 더 공정성 평가에 초점을 맞추고 있으며, LLM 자체가 추천에서 편향된 패턴을 식별하는 공정성 인식기로 기능합니다[23]. 이는 LLM의 새로운 사용을 나타냅니다: 추천 생성뿐만 아니라 품질 보증 및 편향 탐지[23].
콜드 스타트 및 제로 샷 학습
트리 기반 콜드 스타트 효율성
LLMTreeRec은 아이템 코퍼스를 계층적 트리로 구조화하여 시스템 콜드 스타트 조건에서의 효율성을 개선합니다[24]. 이 접근법은 LLM이 큰 아이템 카탈로그로 직면하는 토큰 소비 과제를 처리하며, 실질적인 배포 가능성을 유지하면서 최첨단 성능을 달성합니다. 특히 이 프레임워크는 Huawei의 프로덕션 시스템에 성공적으로 배포되었습니다[24].
분류법 가이드 압축
제로 샷 학습 트렌드는 타겟 데이터에 대한 명시적 훈련이 필요하지 않은 의미론적 관계 및 메타데이터를 강조합니다. TAXREC은 분류법 가이드 아이템 분류화가 효과적인 제로 샷 추천을 가능하게 함을 보여주며, 특히 신규 사용자나 아이템에 유용합니다[10].
프로덕션 배포 및 산업 응용
실제 구현 과제
프로덕션 배포는 학술 연구에서 종종 간과되는 실질적 제약을 도입합니다. 토큰 소비 최적화, 추론 지연, 비용 모델링이 산업 논의를 지배합니다[25]. 전통적 알고리즘을 LLM 개선 단계와 짝지은 LinkedIn의 성공은 점진적 채택의 실현 가능성을 보여줍니다[1].
확장 전략
성공적인 배포는 정교한 인프라가 필요합니다: 처리량 최적화를 위한 요청 배치, 반응성 있는 시스템을 위한 연속 배치, 이질 하드웨어 전반의 부하 균형. RAG(GPT-4 API보다 2-4배 저렴)와 함께 더 작은 모델을 제공하고 압축 기초 모델을 배포하는 추세는 산업 전반의 비용 효율성 집중을 반영합니다[26].
과제 및 향후 방향
해결되지 않은 긴장
이 분야는 성능과 효율성 간의 지속적 트레이드오프에 직면합니다. LLM이 우수한 의미론적 이해와 설명 가능성을 제공하지만, 다음과 같은 어려움을 겪습니다:
- 동적 사용자 관심사: 협업 신호가 최소한인 콜드 스타트 시나리오[1]
- 계산 복잡성: 실시간 배포를 제한하는 높은 추론 비용[1]
- 지식 정렬: 협업 정보를 LLM이 추론할 수 있는 형식으로 전환[5]
새로운 연구 방향
- 적응형 선택 메커니즘: 정적 프롬프트 템플릿을 넘어 LLM이 자신의 시연 선택을 능동적으로 가이드하는 방향[5]
- 다중 에이전트 프레임워크: 다양한 관점과 반복적 개선을 가능하게 하는 debater-critic 시스템[8]
- 통합 교차 도메인 시스템: 비즈니스 도메인 전반에서 원활한 추천을 위한 LLM 세계 지식 활용[22]
- 효율적 추론: 문맥 인식, 책임 튜닝, 비용 민감 프롬프팅을 통한 토큰 소비 감소[27]
- 공정성 인식 아키텍처: 추천 파이프라인에 공정성 인식을 직접 통합[23]
실무자를 위한 핵심 요점
RecSys 2025 및 최근 연구의 합의는 실질적 하이브리드 접근법을 강조합니다[1]. 전통적 시스템의 전체 교체보다는, 성공적인 구현은 다음을 결합합니다:
- 협업 필터링: 따뜻한 시작 추천의 정확성
- LLM 의미론적 이해: 콜드 스타트 아이템과 설명 가능성
- 효율적 미세 조정: LoRA 및 지식 증류 사용
- RAG 메커니즘: 지식 접지 및 비용 제어
- 반복적 피드백 최적화: 직접 미세 조정 대비
이 분야는 개념 증명 시연에서 성능, 효율성, 해석 가능성의 균형을 맞춘 프로덕션 준비 시스템으로 전환하고 있습니다. 추천 품질과 운영 제약 간의 복잡한 트레이드 공간을 탐색하려면 ML 엔지니어, 데이터 과학자, 시스템 전문가 간의 교차 기능 협업이 필요합니다.
출처
[1] Inside RecSys 2025: How LLMs Are Rewriting the Rules of ... https://www.taboola.com/engineering/recsys-2025-ai-recommendation-trends/
[2] Large Language Models for Generative Recommendation https://aclanthology.org/2024.lrec-main.886/
[3] LLMs And Collaborative Filtering Combine For Efficient ... https://quantumzeitgeist.com/llms-and-collaborative-filtering-combine-for-efficient-recommendations/
[4] An Efficient All-round LLM-based Recommender System https://pure.kaist.ac.kr/en/publications/large-language-models-meet-collaborative-filtering-an-efficient-a
[5] Bringing Collaborative Filtering to LLMs with AdaptRec https://www.shaped.ai/blog/bringing-collaborative-filtering-to-llms-with-adaptrec
[6] RecPrompt: A Prompt Engineering Framework for LLM ... https://www.prompthub.us/blog/recprompt-a-prompt-engineering-framework-for-llm-recommendations
[7] Instructional Prompt Optimization for Few-Shot LLM-Based ... https://arxiv.org/pdf/2509.09066.pdf
[8] LLM-based Conversational Recommendation Agents with ... https://aclanthology.org/2025.findings-emnlp.119.pdf
[9] Knowledge Graph Retrieval-Augmented Generation for ... https://aclanthology.org/2025.acl-long.1317.pdf
[10] Taxonomy-Guided Zero-Shot Recommendations with LLMs https://aclanthology.org/2025.coling-main.102.pdf
[11] Clever Ways to Lower Your LLM Costs in 2025 (Without ... https://bhavishyapandit9.substack.com/p/clever-ways-to-lower-your-llm-costs
[12] Improving Recommendation Systems & Search in the Age ... https://eugeneyan.com/writing/recsys-llm/
[13] Bidirectional Knowledge Distillation for Enhancing ... https://arxiv.org/abs/2505.18120
[14] Ensemble Knowledge Distillation from LLM-based Models ... https://dl.acm.org/doi/10.1145/3701716.3715527
[15] Enhancing Large Language Model Based Sequential ... https://aclanthology.org/2024.findings-emnlp.423.pdf
[16] Multi-Grained Patch Training for Efficient LLM-based ... http://staff.ustc.edu.cn/~hexn/papers/sigir25-PatchRec.pdf
[17] Harnessing Multimodal Large Language Models for ... https://arxiv.org/abs/2408.09698
[18] Multimodal LLMs with Collaborative Filtering Alignment for ... https://arxiv.org/abs/2412.18176
[19] LLM-EDT: Large Language Models Enhanced Cross ... https://arxiv.org/html/2511.19931v1
[20] Improving Conversational Recommendation through LLM ... https://aclanthology.org/2025.acl-long.758/
[21] Enhance Large Language Models as Recommendation ... https://arxiv.org/html/2510.15647v1
[22] Large Language Models for Next-Generation Recommendation ... https://blog.premai.io/large-language-models-for-next-generation-recommendation-systems/
[23] Fairness identification of large language models in recommendation https://pmc.ncbi.nlm.nih.gov/articles/PMC11828922/
[24] Unleashing the Power of Large Language Models for Cold-Start ... https://aclanthology.org/2025.coling-main.59/
[25] Leverage LLM for Next-Gen Recommender Systems https://lfaidata.foundation/communityblog/2025/08/25/leverage-llm-for-next-gen-recommender-systems-technical-deep-dive-into-llm-enhanced-recommender-architectures/
[26] LLM Cost Optimization - Saving on Computation and ... https://systems-analysis.ru/eng/LLM_cost_optimization
[27] Optimizing Token Consumption in LLMs: A Nano Surge ... https://arxiv.org/html/2504.15989v2
