NDCG

참고

NDCG @ K

NDCG는 랭킹기반 지표이다. 추천된 아이템의 순위까지 고려한 지표이다.

NDCG를 설명하기 위해서는 CG, DCG, IDCG를 우선 알아야한다.

CG

relevance의 합이다. relevance라는 것은 상황에 따라 다르게 적용되며, 사용자와 아이템간의 연관성을 말한다. 예를들어 클릭수, 평점등을 생각할 수 있겠다. 수식은 아래와 같다.

DCG

단순히 추천 결과의 아이템의 relevance의 합은 추천의 순서를 고려하지 않기 때문에 순위가 높을수록 적은 값으로 나눠주어 순위를 고려한 rel의 합을 구한 것이 DCG이다. 수식은 아래와 같다.

NDCG

추천아이템의 개수가 많아질수록 DCG의 값이 늘어난다. 따라서 절대적인 비교가 어려우므로 가장 이상적인 추천의 DCG로 나눠 정규화한 것이 NDCG이다. 수식은 아래와 같다.

이를 종합하여 NDCG@3의 예시를 살펴보자.

CG는 3순위까지 추천된 아이템의 rel의 합
DCG는 각 순위의 로그값으로 나눈 값의 합
IDCG는 가장 이상적인 추천의 DCG, 즉 rel이 3, 3, 2 값을 가지는 순으로 추천됐을때의 값이다.

이를 종합하여 NDCG를 구한다.