Precision@K

Precision@K는 추천 시스템의 성능을 평가하기 위해 사용되는 지표로, 추천된 상위 K개의 항목 중 실제로 사용자가 관심을 가진 항목의 비율을 측정한다. 추천 시스템에서 Precision@K는 "추천 시스템이 추천한 아이템 K개 중 실제 사용자가 관심 있는 아이템의 비율은?"의 의미를 가지고 있다. Precision@K는 추천 리스트의 정확성을 평가하는 데 유용하며, 추천 시스템이 얼마나 관련성 있는 항목을 추천하는지 평가하는 데 사용된다.

정의 및 계산 방법

Precision@K는 다음과 같이 정의된다:

Precision@K = Number of Relevant Items in Top K / K

"Number of Relevant Items in Top K"는 추천된 상위 K개의 항목 중 실제로 사용자가 관심을 가진 항목의 수를 의미한다.
K는 추천 리스트의 상위 항목의 개수를 의미한다.

예시

상황:

3명의 사용자에게 각각 5개의 항목을 추천하고, 각 사용자가 실제로 관심을 가진 항목이 여러 개 있다고 가정한다.

추천 리스트와 실제 관심 항목:

사용자 1: 추천 리스트 [A, B, C, D, E], 관심 항목 [A, C, E]
사용자 2: 추천 리스트 [F, G, H, I, J], 관심 항목 [H, J]
사용자 3: 추천 리스트 [K, L, M, N, O], 관심 항목 [L, M, O]

Precision@5 계산:

사용자 1: 추천 리스트의 상위 5개 항목 중 관심 항목은 [A, C, E]로 3개. Precision@5 = 3 / 5 = 0.6
사용자 2: 추천 리스트의 상위 5개 항목 중 관심 항목은 [H, J]로 2개. Precision@5 = 2 / 5 = 0.4
사용자 3: 추천 리스트의 상위 5개 항목 중 관심 항목은 [L, M, O]로 3개. Precision@5 = 3 / 5 = 0.6

평균 Precision@5:

전체 Precision@5 = (0.6 + 0.4 + 0.6) / 3 = 0.5333

장점

1. 직관적 이해
Precision@K는 상위 K개의 추천 항목 중 사용자가 관심을 가진 항목의 비율을 측정하기 때문에 직관적으로 이해하기 쉽다.
2. 관련성 평가
추천된 항목의 관련성을 평가하는 데 유용하여, 추천 시스템이 얼마나 정확한 추천을 제공하는지 평가할 수 있다.

단점

1. 순위 반영 부족
Precision@K는 추천 항목의 순위를 고려하지 않는다. 따라서, 추천 리스트의 상위에 위치한 항목이 더 중요할 때 이를 반영하지 못한다.
2. K값의 선택
최적의 K값을 선택하는 것이 중요하다. K값이 너무 크거나 작으면 결과가 왜곡될 수 있다.

결론

Precision@K는 추천 시스템의 성능을 평가하는 데 유용한 지표로, 추천된 상위 K개의 항목 중 실제로 사용자가 관심을 가진 항목의 비율을 측정한다. 이 지표는 추천 항목의 정확성을 평가하는 데 도움이 되며, 사용자 경험을 향상시키기 위해 널리 사용된다.