* 가짜연구소 추천시스템 톺아보기 스터디 활동을 기반으로 작성된 포스트입니다.
(WIP...)
인기도 기반 추천
Most popular, highly rated
성능 측정 지표
- Precision 정밀도 : 모델이 True라고 예측한 결과 중 정답 맞춘 비율
TP/(TP+FP) - Recall 재현율 : 실제 True 데이터 중 모델이 정답 맞춘 비율
TP/(TP+FN) - Mean Absolute Error(MAE)
- Root Mean Square Error(RMSE)
EDA
MovieLens Data EDA
UCI Online retail data EDA
Kaggle Avazu Data EDA
Deview
네이버 Deview 2020: 유저가 좋은 작품(웹툰)을 만났을 때 - 최규민님(카카오 추천팀)
영상 링크: https://deview.kr/2020/sessions/332
추천 시스템의 목적
- 사용자가 좋아할 만한 아이템을 추천해주는 것.
- 소비자 관점의 추천이 기업들의 목표.
- ex) help enjoying, help find or match, 재방문율, 열람수, ...
픽코마(웹툰) 추천 시스템
- 추천시스템의 목표 : 작품 첫 에피소드 열람을 계속하도록 만드는 것!
- 추천 솔루션
- 사용 위치 : 픽코마 UX 전반의 개인화 추천, 연관 추천, 타켓팅 푸시/팝업
- 목표 : 사용자 만족도와 리텐션 늘리기 ( 소비자 관점) 매출 늘리기 (공급자 관점)
픽코마 사용자 Engagement 탐색
-
픽코마 퍼널
- 정의 : [작품 노출 → 작품 클릭 → 작품 1화 열람 → 작품 다음화 열람] → [지속 열람 → 자주 방문][short-term 선호도] [long-term 선호도]
- long-term(추천 시스템 목표) 목표 지표를 직접 최대화 어려움
- 추천 시점 : 작품 노출
- 현실적 목표 지표 : short-term
-
Long Term Proxy 지표 탐색
-
사용자 리텐션(열람일수)이 낮은 집단, 높은 집단의 지표 탐색 → 리텐션과 가장 상관관계가 높은 지표 찾기!
-
사용자 랜덤 샘플링해 균등하게 열람일수로 segmentation해서 지표 탐색
-
자주 방문할 수록
1) 전체 열람 수(day) : 한달 열람수 높게 증가 → 열람일수(리텐션 지표)와 상관계수 가장 높음
2) 일일 열람 수 : 고활성 유저 되기 전까지는 하루 열람수 일정
3) 작품당 일일 열람수 : 일일작품당 열람 에피소드수 감소/수렴
4) 일일 열람 작품수(unique) : 하루 열람 작품수 증가
5) 전체 열람 작품수(unique) : unique 열람 작품수 증가 -
일일 열람수와 작품당 열람수는 리텐션과 상관없이 일정함
-
리텐션 증가 = 사용자의 선호 작품수 증가 필요!!
-
사용자의 작품 탐색과 발견에 대하여
-
사용자 Engagement Life Cycle
-
사용자 월별 열람 이력으로 군집화 후 활성 사용자의 작품 탐색과 발견 분석
-
사용자 군집화 by unsupervised learning → k-means clustering(k=15)
열람 지속형 클러스터 열람 감소형 클러스터 열람 증가형 클러스터 engagement 유지 감소 증가 열람작품수 일정 감소, 이탈 증가 Exploration Rate 완만한 감소 & 유지 높다가 급락 or 감소 일정하게 유지
-
-
-
분석 관점
- exploration(탐색)
- exploitation(활용)
- 사용자의 탐색적 활동과 Long Term 선호도 관계 탐색 → 열람 증감 때 탐색 작품수 변화
- Exploration Rate이 높다 → 작품 탐색 만족 → 열람 작품 증가 → 서비스에 만족
-
Exploration Rate 평균보다 분포!
- 군집 월별 이변량 분포 변화
- X축-exploration작품수 / Y축-exploitation작품수 : 중심 분포 움직임 관찰
- X축-exploration rate / Y축-exploration 작품수 : 분포의 축 기울기 양상 관찰
💻 For Computer Science..