15편. 실험 계획서 한 장이면 충분하다 — 원페이저 작성법

📌 A/B 테스트 완전 정복 시리즈 | 15편 / 25편
Part 6. 실험 설계 — "어떻게 설계할 것인가"

들어가며

A/B 테스트를 "일단 해보자!"로 시작하면 높은 확률로 실패합니다.

체계적인 실험을 위해 원페이저(One-pager) 를 작성해야 합니다. 실험의 A부터 Z까지를 한 장에 정리하는 기획서죠.

A/B 테스트 실험 사이클

원페이저 작성 → 실험 시작 → 데이터 수집 → 통계 검증 → 리뷰 및 결론

원페이저 구성 요소 (9가지)

1. 타겟 유저

• 실험 대상이 되는 고객 정의
• 예: "결제 페이지에 진입한 고객"

2. Observation (관찰 현상)

• 데이터에서 발견한 현상
• 예: "결제 페이지에서 이탈률이 40%로 높음"

3. Problem Statement (문제 정의)

• 왜 이것이 문제인지
• 예: "고객이 할인 금액을 인지하지 못해 구매를 미루는 것으로 추정"

4. 벤치마킹

• 경쟁사나 유사 서비스의 사례 조사
• 예: "경쟁사 X는 할인 금액을 빨간색으로 강조 표시"

5. Hypothesis (가설)

• 검증하고 싶은 가설
• 예: "할인 금액을 강조하면 구매 전환율이 올라갈 것이다"

6. 실험 그룹 분리

• Control(A)과 Treatment(B) 정의
• 예: A = 기존 결제 페이지, B = 할인 금액 강조 페이지

7. 평가 메트릭 (Evaluation Metrics)

• 인풋 지표: 결제 페이지 유입수
• 아웃풋 지표: 결제 완료율, ARPU

8. 트레이드오프 (Trade-off)

• 기능 도입으로 발생할 수 있는 부작용
• 예: "할인 강조로 저가 상품 구매 증가 → 전체 객단가 하락 가능성"

9. 안돈 시스템 (Andon System)

• 실험 중단 기준
• 예: "전환율이 3일 연속 하락하면 즉시 중단"

한 줄 정리

원페이저 = "왜 하는지 → 뭘 기대하는지 → 어떻게 측정하는지 → 언제 멈추는지" 를 한 장에 정리한 것

다음 편 예고

원페이저를 작성하다 보면 반드시 부딪히는 질문이 있습니다:

"실험 대상자를 몇 명이나 모아야 하지?"

다음 편에서는 최소 샘플 크기 계산법을 알아봅니다.