Hit Rate@K

Hit Rate@K 는 추천 시스템의 성능을 평가하기 위해 사용되는 지표 중 하나이다. 이 지표는 사용자가 관심을 가질 만한 항목이 추천 리스트의 상위 K개 항목에 포함되어 있는지를 측정한다. Hit Rate는 사용자가 실제로 관심을 보인 항목이 추천 리스트에 포함되는 빈도를 나타내며, 추천 시스템이 얼마나 잘 동작하는지를 간단하고 직관적으로 평가할 수 있다.

정의 및 계산 방법

Hit Rate@K는 다음과 같이 정의된다.

Hit Rate@K = Total Number of Users / Number of Hits

"Number of Hits"는 추천 리스트의 상위 K개 항목에 사용자가 관심을 보인 항목이 포함된 경우의 수를 의미한다.
"Total Number of Users"는 추천 시스템을 평가하는 데 사용된 전체 사용자 수를 의미한다.

예시

상황:

5명의 사용자에게 각각 10개의 항목을 추천하고, 각 사용자가 실제로 관심을 가진 항목이 하나씩 있다고 가정한다.

추천 리스트:

사용자 1: [A, B, C, D, E, F, G, H, I, J]
사용자 2: [K, L, M, N, O, P, Q, R, S, T]
사용자 3: [U, V, W, X, Y, Z, A, B, C, D]
사용자 4: [E, F, G, H, I, J, K, L, M, N]
사용자 5: [O, P, Q, R, S, T, U, V, W, X]

사용자가 실제로 관심을 가진 항목:

사용자 1: C
사용자 2: Q
사용자 3: W
사용자 4: I
사용자 5: Z

Hit 여부 확인 (K=5):

사용자 1: C가 상위 5개 항목에 포함됨 (Hit)
사용자 2: Q가 상위 5개 항목에 포함되지 않음 (Miss)
사용자 3: W가 상위 5개 항목에 포함됨 (Hit)
사용자 4: I가 상위 5개 항목에 포함됨 (Hit)
사용자 5: Z가 상위 5개 항목에 포함되지 않음 (Miss)

Hit Rate@5 계산:

Number of Hits = 3 (사용자 1, 3, 4)
Total Number of Users = 5
Hit Rate@5 = 3 / 5 = 0.6

장점

1. 간단하고 직관적
Hit Rate는 이해하고 계산하기 쉽다.
2. 사용자 관점 반영
사용자가 실제로 관심을 가진 항목이 추천 리스트에 포함되는 빈도를 측정하기 때문에 사용자 경험을 잘 반영한다.

단점

1. 상세한 정보 부족
Hit Rate는 단순히 항목이 포함되었는지를 확인할 뿐, 추천 항목 간의 순위나 정확도에 대한 정보를 제공하지 않는다.
2. Threshold 의존성
K값에 따라 결과가 크게 달라질 수 있으며, 최적의 K값을 선택하는 것이 중요하다.

결론

Hit Rate@K는 추천 시스템의 성능을 평가하는 데 유용한 지표로, 특히 사용자가 관심을 가질 항목이 추천 리스트의 상위 K개 항목에 포함되는 빈도를 측정한다. 이 지표는 간단하면서도 직관적으로 시스템의 성능을 평가할 수 있어 많이 사용된다.