MAP

Mean Average Precision (MAP)은 정보 검색 및 추천 시스템의 성능을 평가하는 데 사용되는 중요한 지표이다. MAP는 여러 쿼리나 사용자의 검색 결과에 대해 평균적인 정밀도를 계산하여 전체 시스템의 성능을 평가한다. 이는 특히 다수의 검색 쿼리나 추천 요청을 처리하는 시스템의 경우, 개별 쿼리의 성능 변동을 평균적으로 평가하는 데 유용하다.

정의 및 계산 방법

MAP는 각 쿼리의 Average Precision (AP)를 계산한 후, 모든 쿼리에 대한 평균을 구하여 계산한다. AP는 특정 쿼리에 대해, 각 관련 문서가 반환된 위치에서의 정밀도의 평균을 의미한다.

Precision at K (P@K): 상위 K개의 결과 중 관련 문서의 비율을 측정하는 지표이다.
Average Precision (AP): 특정 쿼리에 대한 Precision at K의 평균이다.

Average Precision (AP)

AP는 특정 쿼리에 대해, 모든 관련 문서가 반환된 위치에서의 정밀도의 평균이다. AP는 다음과 같이 계산된다.

P(k)는 위치 k에서의 정밀도이다.
rel(k)는 위치 k에서의 문서가 관련 문서이면 1, 아니면 0이다.

Mean Average Precision (MAP)

MAP는 여러 쿼리에 대한 AP의 평균이다. MAP는 다음과 같이 계산된다.

U는 전체 쿼리의 수이다.
AP(u)는 쿼리 u에 대한 AP이다.

예시

상황:

3개의 쿼리(Q1, Q2, Q3)에 대해 추천 결과를 평가한다고 가정한다.

관련 문서:

Q1: 관련 문서 = [d1, d2, d3]
Q2: 관련 문서 = [d2, d3, d4]
Q3: 관련 문서 = [d1, d4, d5]

검색 결과:

Q1: 결과 = [d1, d4, d2, d5, d3]
Q2: 결과 = [d2, d1, d4, d3, d5]
Q3: 결과 = [d1, d5, d4, d2, d3]

Average Precision 계산:

Q1:
P(1) = 1/1 = 1 (d1이 관련 문서)
P(3) = 2/3 ≈ 0.67 (d2가 관련 문서)
P(5) = 3/5 = 0.6 (d3가 관련 문서)
AP(Q1) = (1 + 0.67 + 0.6) / 3 ≈ 0.757

Q2:
P(1) = 1/1 = 1 (d2가 관련 문서)
P(3) = 2/3 ≈ 0.67 (d4가 관련 문서)
P(4) = 3/4 = 0.75 (d3가 관련 문서)
AP(Q2) = (1 + 0.67 + 0.75) / 3 ≈ 0.807

Q3:
P(1) = 1/1 = 1 (d1이 관련 문서)
P(3) = 2/3 ≈ 0.67 (d4가 관련 문서)
P(2) = 3/5 = 0.6 (d5가 관련 문서)
AP(Q3) = (1 + 0.67 + 0.6) / 3 ≈ 0.757

MAP 계산:

MAP = (AP(Q1) + AP(Q2) + AP(Q3)) / 3 ≈ (0.757 + 0.807 + 0.757) / 3 ≈ 0.774

장점

1. 평균적 성능 평가
여러 쿼리나 추천 요청에 대해 전체적인 성능을 평가할 수 있다.
2. 정밀한 평가
각 쿼리에서 관련 문서가 반환된 위치에서의 정밀도를 고려하므로, 시스템의 성능을 정밀하게 평가할 수 있다.

단점

1. 복잡도
AP와 MAP를 계산하는 과정이 다소 복잡할 수 있다.
2. 관련 문서 수
각 쿼리마다 관련 문서의 수가 다를 경우, 비교하기 어려울 수 있다.

결론

MAP는 정보 검색 및 추천 시스템의 성능을 평가하는 강력한 지표로, 여러 쿼리에 대한 평균 정밀도를 계산하여 시스템의 전체 성능을 평가한다. 이를 통해 추천 시스템이 얼마나 정확하게 사용자에게 관련 있는 결과를 제공하는지 평가할 수 있다.