추천시스템 성능 평가

모델에 대한 성능 평가 단계

1. 모델에 대한 성능평가 단계
   

• 시간에 따라 모델의 성능에 영향을 미칠 수 있으므로 시간에 따른 여러 평가 지표를 만들어 평가 한다.

2. 심사위원 평가

• 과거 이력 데이터 기반 평가의 한계
  • 신규 추천 결과에 대한 사용자의 반응을 알 수 없다.
    • 정량적 평가 (정성적 평가x)
• 심사위원 평가
  • 심사위원: 내부인력, 외부인력 추천 결과의 품질을 정성적으로 평가
    • Quality and Trust of Feedback

3. 온라인 성능 평가 - A/B Test

• 서비스의 KPI 지표로 평가
  • 매출, PV, UV, CRT ...
  • 

성능평가

1. Rating Prediction 성능평가

• 모델이 예측한 Rating과 사용자의 실제 Rating차이를 계산한다.
• 
• 
• 
• 

2. Top-K 추천 성능평가

• Precision (정확도)
  • 추천된 아이템중에 실제로 추천된 아이템이 몇개나 있는지
• Recall (재현율)
  • 실제 추천되어야할 아이템중에 추천된 아이템이 몇개나 있는지
• 
• 
• 
• 
  • 추천의 결과의 개수 K가 높아질수록 Precision은 줄어들고 Recall은 높아질 수 있다.
• 
• 
  • 일반 Precision은 순서를 반영하지 않기 때문에 정확하지 않다.
• 
• 
  • Pr(i)를 통해 순서에 대한 가중을 줄 수 있다.
• 
• 
• 
• 
• 
• 
•