4편. 실험 목표가 없으면 실험이 아니다 — OEC 공식화
📌 A/B 테스트 완전 정복 시리즈 | 4편 / 25편
Part 2. 조직 원칙 — "조직이 갖춰야 할 것"
들어가며
A/B 테스트의 첫 번째 원칙입니다:
데이터 중심 조직은 실험 목표를 숫자로 정의한다.
이걸 멋진 용어로 OEC(Overall Evaluation Criterion) 라고 부릅니다.
OEC란?
OEC = 실험의 성공/실패를 판단하는 하나의 핵심 지표
"이번 실험, 성공했어?" 라는 질문에 "음… 전환율은 올랐는데 매출은 좀…" 이러면 판단이 흐려지죠.
OEC가 있으면 명확합니다: "OEC가 올랐으면 성공, 안 올랐으면 실패."
좋은 OEC의 3가지 조건
| 조건 | 설명 | 예시 |
|---|---|---|
| 단기간 측정 가능 | 1~2주 내에 결과를 볼 수 있어야 함 | ❌ "1년간 고객 생애 가치" → ⭕ "주간 구매 전환율" |
| 변화에 민감 | 작은 개선도 감지할 수 있어야 함 | ❌ "전체 매출" (변수 너무 많음) → ⭕ "검색 후 클릭률" |
| 장기 목표와 연결 | 단기 지표지만 장기 성과를 예측할 수 있어야 함 | 주간 구매 전환율 ↑ → 월간 매출 ↑ 예측 가능 |
왜 중요한가?
OEC가 없으면 이런 일이 벌어집니다:
- PM: "전환율 올랐으니 성공이야!"
- 마케팅: "근데 ARPU는 떨어졌는데?"
- CTO: "서버 비용은 고려했어?"
OEC를 전사적으로 합의해야 모든 팀이 같은 기준으로 실험을 평가할 수 있습니다.
다음 편 예고
목표를 정했으면, 이제 실험을 돌릴 환경이 필요하겠죠?
다음 편에서는 실험 인프라에 투자해야 하는 이유를 알아봅니다.
Data Analyst | Thoughts Become Things. 할 수 있다고 생각하면 할 수 있다. 할 수 없다고 생각하면 할 수 없다. | www.linkedin.com/in/명수-제-7ab843200