1. Accuracy

• 내가 추천해준 것을 고객이 봤다면 정확도 상승
• 내가 추천해주지 않은 것을 고객이 안 봤다면 정확도 상승

단점

• 추천을 여러개씩 하기 때문에 여러개의 추천 조건들 간에도 더 좋고 나쁨의 순위가 존재
• Accuracy는 해당 조건들간의 순위를 반영하지 못함

---

2. MAP

• MAP의 경우 추천 순서에 따라 값이 차이가 존재 함
• 상위 K개의 추천에 대해서만 평가하기에 K를 바꿔가면서 상위의 n개를 추천하는게 좋은지도 결정이 가능

• 순서에 따라 가중치를 다르게 가지게 되기 때문에 순서에 대해서 평가 가능

---

3. NDCG

• NDCG (Normalized Discounted Cumulative Gain) : ranking quality measure, 검색 알고리즘에서 성과를 측정하는 평가 메트릭

• 사용자 마다 상품의 개수가 다를 경우 정규화를 취해서 맞춰주는 평가 함수

3-1. CG

• CG는 상위 p개의 추천 결과들의 관련성($rel$)을 합한 누적값

• rel은 관련이 있는지 없는지에 따라 0 또는 1의 Binary 값을 갖거나, 문제에 따라 세분화된 값을 가진다.

• CG 는 상위 p 개의 추천 결과들을 모두 동일한 비중으로 계산하기 때문에 순서를 고려해 계산하는 DCG 보다는 사용 빈도가 적음

3-2. DCG

• DCG는 CG에서 랭킹 순서에 따라 점점 비중을 줄여가는(Discounted) 관련도를 계산하는 방법

• 로그함수를 분모에 둠으로써, 하위권으로 갈 수록 같은 $rel$값 대비 작은 DCG값을 갖게 패널티를 주는 방식

• 기본적인 형태는 첫번째이고,
  랭킹의 순서보다 관련성에 더 비중을 주고싶은 경우 두 번째 식을 사용하며 $rel$이 Binary 값이면 두 식이 같아진다.

NDCG

• 관련성이 높은 것을 순서대로 예측하는 모델인 검색 엔진, 영상 및 음악 추천에서 주로 사용

• 추천 순서(1번째 식)과 이상적인 추천 순서(2번째 식)를 구현
• 2개의 값(DCG, iDCG) 모두 DCG값을 계산
• 단순 나누기를 통해 값을 계산