📋 실무 실험 체크리스트

1) 핵심 질문(One-liner)

이번 실험/분석의 핵심 질문을 한 문장으로 썼다

예: “TS%가 +3%p 이상이면 전술 변경한다” / “CTR이 +0.5%p 오르면 새 문구 채택”

2) 지표 설계

주지표 1개만 판정에 사용 (보조지표는 설명용 1~2개)

주지표: (예: TS%, CTR, 전환율)

보조지표: (예: TO%, 리바운드%, 체류시간 등)

3) SESOI/MCID(의미 있는 최소 차이)

“이 정도면 실무적으로 가치 있음”을 수치로 미리 정했다

SESOI: (예: TS% +3%p, CTR +0.5%p, 배달시간 −3분)

이 근거: (과거 데이터, 비용/효익, 도메인 규칙)

4) 오류 허용(α, 파워)

유의수준 α: (기본 0.05, 상황 따라 0.01/0.10)

파워(1−β): (기본 0.80, 기회비용 크면 0.90)

왜 이렇게 정했는지 간단 근거 메모

5) 표본수·기간(파워분석)

파워분석으로 필요 n/기간 계산 완료

예상 표준편차/분산 근거: (과거 로그/사전 파일럿)

캘린더 고정: 시작 ☐ / 중간 체크일 ☐ / 종료일 ☐

“언제 멈출지” 규칙 문서화

6) 설계 선택

대응설계 가능? (전/후, 같은 대상) → 가능하면 사용 (분산↓)

독립설계면 층화/블로킹 세팅 (예: 라인업/채널/디바이스)

공변량 보정(ANCOVA/CUPED 등) 변수 정리: (예: 직전 성과, 볼 소유시간)

7) 정지 규칙(중간 멈춤)

중간 확인 시점: (예: D+7, D+14)

조기 종료 기준: (임계치/α-spending/그룹순차)

중간에 임의로 안 멈춘다(사전 규칙만 허용)

8) 데이터 규칙

결측 처리: (드롭/대체 규칙)

이상치/제외 기준: (예: 3σ, 봇/내부 트래픽, 부상 경기 제외)

분석 전에 문서화, 분석 후 규칙 변경 금지

9) 실행 중 가드레일

트래픽 믹스/랜덤화/계절성 모니터링

지표 드리프트/측정오류 점검 (대시보드/알람)

다중비교는 주지표만 판정, 나머지는 탐색적으로 라벨링(FDR 고려)

10) 결과 보고 템플릿(복붙용)

추정치 + 95% CI: Δ = (단위), 95% CI [ , ___ ]

p값 & 판정: p = ___ → (유의/비유의)

SESOI 충족 여부: (예/아니오)

효과크기(d 등): d = ___ (작음/중간/큼)

결정: (롤아웃 / 재시험 / 보류) + 간단 사유

리스크/한계: (세그먼트 편향, 계절성, 표본 부족 등)

후속 액션: (모니터링 항목, 재현 실험, 추가 세분화 등)

🔁 한 줄 체크(매번 시작 전에 읽기)

질문 → 지표 → 의미있는크기 → 오류허용 → 표본수 → 설계 → 정지규칙 → 데이터규칙 순서로 준비했는가?