20편. 리스트 기본 정렬 실험 — "판매순이 최선인가?"

📌 A/B 테스트 완전 정복 시리즈 | 20편 / 25편
Part 7. 실전 케이스 — "실제로 해보자"

들어가며

샹숑배달 두 번째 실험입니다.

리스트 페이지의 기본 정렬이 "판매순"인데, 이게 정말 최적일까요?

배경

• 리스트 페이지 → 제휴점 페이지 전환율이 50%로 낮음
• 사용자들이 자발적으로 선택하는 정렬: 별점 높은 순, 배달비 낮은 순이 판매순보다 많음
• MAP@10 (검색 정확도 지표)이 0.45로 기대치보다 낮음

실험 설계

이번 실험은 A/B가 아니라 A/B/C/D 4그룹으로 진행합니다:

핵심 지표:

• MAP@10 (정렬 만족도)
• 구매 전환율
• ARPU

최소 샘플: 39,780명 (DAU 2만이므로 최소 2일 수집)

중단 기준: 3일 이상 유의미한 매출 하락 시 실험 중단

다음 편 예고

실험을 돌렸습니다. 4개 그룹 중 어떤 정렬이 가장 좋은 성과를 보였을까요?