21편. 리스트 정렬 실험 결과 — 별점순의 승리
📌 A/B 테스트 완전 정복 시리즈 | 21편 / 25편
Part 7. 실전 케이스 — "실제로 해보자"
들어가며
실험 기간: 2023년 1월 16일 ~ 2월 1일
4개 그룹의 결과를 비교합니다.
핵심 결과
| 지표 | A (판매순) | B (배달비↓) | C (별점↑) | D (배달빠른순) |
|---|---|---|---|---|
| MAP@10 | 기준 | 부정적 ↓ | 긍정적 ↑ | 부정적 ↓ |
| 구매 전환율 | 기준 | 미미 | 상승 ↑ | 하락 ↓ |
| ARPU | 기준 | 하락 | +1.24 ↑ | 하락 |
분석 방법
| 지표 | 검정 방법 | 이유 |
|---|---|---|
| MAP@10 | t-검정 | 연속형 변수 |
| 구매 전환율 | 카이제곱 검정 | 범주형 (구매/미구매) |
| ARPU | t-검정 | 연속형 변수 |
결론
C그룹(별점 높은 순) 이 모든 지표에서 가장 좋은 성과를 보였습니다:
- 정렬 만족도(MAP) 가장 높음
- 구매 전환율 상승
- 사용자당 매출(ARPU) 상승
→ 기본 정렬을 "별점 높은 순"으로 변경하는 것을 제안
다음 편 예고
실전을 잘 마쳤습니다! 하지만 아직 끝이 아닙니다.
A/B 테스트에는 조심해야 할 함정들이 있어요. 다음 편부터 하나씩 짚어봅니다.
Data Expert 가 되고싶은 사람 | Thoughts Become Things. 할 수 있다고 생각하면 할 수 있다. 할 수 없다고 생각하면 할 수 없다. | www.linkedin.com/in/명수-제-7ab843200