19편. 검색 모듈 실험 결과 — 전환율 4.3% 상승!
들어가며
실험 기간: 2023년 1월 2일 ~ 1월 15일 (약 2주)
A/B 각 50%로 트래픽 분배 (초기 10%씩 시작 후 점진 확대)
결과를 봅시다.
핵심 결과 요약
| 지표 | A그룹 (하단) | B그룹 (상단) | 변화 | p-value |
|---|---|---|---|---|
| 검색 이용률 | 30% | 34.3% | +4.3%p | 0.0001 ✅ |
| 구매 전환율 | 기준 | +4.33% | 상승 | 유의미 ✅ |
| ARPU | 기준 | +0.68% | 상승 | 유의미 ✅ |
분석 방법
| 지표 | 데이터 유형 | 사용한 검정 |
|---|---|---|
| 검색 이용률 | 범주형 (이용/미이용) | 카이제곱 검정 |
| ARPU | 연속형 (금액) | t-검정 |
OS별(iOS/Android), 카테고리별로 분석한 결과에서도 일관되게 긍정적인 리프트를 확인했습니다.
결론
- 검색 모듈 상단 이동 시 검색 이용률 +4.3%p (MDE 2% 대비 2배 이상)
- 구매 전환율과 ARPU 모두 상승
- 기능 런칭을 강하게 주장할 수 있는 근거 확보!
다음 편 예고
두 번째 실험으로 넘어갑니다. 리스트 페이지의 기본 정렬을 바꾸면 어떨까요?
Data Analyst | Thoughts Become Things. 할 수 있다고 생각하면 할 수 있다. 할 수 없다고 생각하면 할 수 없다. | www.linkedin.com/in/명수-제-7ab843200