Recall@K

Recall@K는 추천 시스템의 성능을 평가하기 위한 지표로, 사용자가 관심을 가진 항목들 중에서 추천된 상위 K개의 항목에 포함된 비율을 측정한다. Recall@K는 추천 시스템이 사용자가 관심을 가진 항목을 얼마나 잘 포착하는지 평가하는 데 사용된다. Precision@K와 달리, Recall@K는 추천된 항목의 전체 수가 아닌, 사용자가 관심을 가진 모든 항목 중에서 얼마나 많이 추천했는지에 초점을 맞춘다.

정의 및 계산 방법

Recall@K는 다음과 같이 정의된다

Recall@K = Number of Relevant Items in Top K / Total Number of Relevant Items

"Number of Relevant Items in Top K"는 추천된 상위 K개의 항목 중 실제로 사용자가 관심을 가진 항목의 수를 의미한다.
"Total Number of Relevant Items"는 사용자가 관심을 가진 모든 항목의 수를 의미한다.

예시

상황:

3명의 사용자에게 각각 5개의 항목을 추천하고, 각 사용자가 실제로 관심을 가진 항목이 여러 개 있다고 가정한다.

추천 리스트와 실제 관심 항목:

사용자 1: 추천 리스트 [A, B, C, D, E], 관심 항목 [A, C, E, F]
사용자 2: 추천 리스트 [F, G, H, I, J], 관심 항목 [H, J, K]
사용자 3: 추천 리스트 [K, L, M, N, O], 관심 항목 [L, M, O, P]

Recall@5 계산:

사용자 1: 추천 리스트의 상위 5개 항목 중 관심 항목은 [A, C, E]로 3개. 총 관심 항목은 4개. Recall@5 = 3 / 4 = 0.75
사용자 2: 추천 리스트의 상위 5개 항목 중 관심 항목은 [H, J]로 2개. 총 관심 항목은 3개. Recall@5 = 2 / 3 = 0.67
사용자 3: 추천 리스트의 상위 5개 항목 중 관심 항목은 [L, M, O]로 3개. 총 관심 항목은 4개. Recall@5 = 3 / 4 = 0.75

평균 Recall@5:

전체 Recall@5 = (0.75 + 0.67 + 0.75) / 3 ≈ 0.723

장점

1. 사용자가 관심을 가진 항목 포착
Recall@K는 사용자가 관심을 가진 항목을 얼마나 잘 포착했는지를 평가한다.
2. 관련 항목 포착률 평가
추천 시스템이 사용자의 관심을 반영하는 데 얼마나 성공적인지 측정할 수 있다.

단점

1. 추천 리스트의 크기 반영 부족
Recall@K는 추천 리스트의 크기나 K값이 큰 경우 높은 값을 가지기 쉬워, 추천의 효율성을 평가하는 데 한계가 있을 수 있다.
2. 순위 반영 부족
Precision@K와 마찬가지로, 추천된 항목의 순위를 고려하지 않는다.

결론

Recall@K는 추천 시스템의 성능을 평가하는 중요한 지표로, 사용자가 관심을 가진 항목들 중에서 추천된 상위 K개의 항목에 포함된 비율을 측정한다. 이 지표는 추천 시스템이 얼마나 많은 관련 항목을 포착했는지를 평가하는 데 유용하며, 사용자 경험을 향상시키기 위해 널리 사용된다.