recommender_system_평가

추천시스템의 평가 요소

MAE

sigma( |예측한 랭크값 - 실제 랭크값| ) / |전체 아이템수|

NMAE

MAE / (실제 랭크값에서의 최대값) - (실제 랭크값에서의 최소값)

RMSE

root ( sigma( (예측한 랭크값 - 실제 랭크값)^2 ) / |전체 아이템수| )

RMSE는 오류 값을 제곱하기에 큰 오류, 이상치에 영향을 받으며, 잘못 측정된 평점이 RMSE 측정값을 크게 잘못되도록 만들 수 있다.
그럼에도 다양한 평점에 걸친 예측의 견고성이 중요한 목표에서는 RMSE가 더 좋다고 할 수 있다.

반면 MAE는 평가에서 특이치가 중요하지 않을때 잘못된 결과를 초래한다.

Precision = tp / tp + fp (모델이 맞다고 했는데 실제값은 틀린거) 1종 오류?
Recall = tp / tp + fn (모델이 틀렸다고 했는데 실제값은 맞는거) 2종 오류?

f-score = 2 ((P R) / (P + R))