선정 아티클 : A/B테스트 제대로 이해하기: ⑤A/B테스트에 적정한 표본과 주의 사항
- 요약 및 주요 포인트
대체 표본, 실험의 트래픽은 얼마나 모아야 하나요?
신뢰 수준에 따라 표본의 크기가 달라질 수 있다.
두 방안의 결과가 몇 %정도 차이가 날 것이라고 기대하는지에 따라서 필요한 표본이 정해진다.
A/B 테스트 수행 과정에서 주의할 점
- 내가 미는 방안이 이길 때까지 기다리기
- 실험을 진행하는 동안 기다리는 것도 리소스 소비
- 실험을 진행하느라 다른 실험이 대기중이라면 리소스, 트래픽 낭비
- 실험에 노출되는 소비자의 절반은 상대적으로 좋지 않은 방안에 노출되는 것
➡️ 원하는 결과를 기다리는 것은 비즈니스 리소스의 낭비로 이어진다.
- 내가 미는 방안이 지기 전에 그만두기
- 트래픽이 쌓이고, 표본의 크기가 충분해질수록 실험군이 질 것 같아 보여, 조기에 종료하는 것도 의도적인 오류
- A안과 B안을 다른 날짜에 시작하기
- 같은 시간에 실험을 시작해야 결과의 차이가 실험에서 발생된 것인지 파악 가능하다
- 다른 시간에 시작될 경우, 트래픽이 온전히 먼저 시작된 방안에 쏠리기 때문에, 늦게 시작된 방안은 충분한 표본의 수가 쌓이지 않음
A/B 테스트의 기본이란?
단순히 눈 앞의 비교가 아니라 고객에게 확실하고, 유의미하게 더 나은 방안을 제공하고 서비스의 지표를 개선하기 위해서는 A/B 테스트를 통해 파악하고자 하는 것과 통계 지식, 주의 사항을 반드시 숙지해야 한다.
- 핵심 개념 및 용어 정리
원래의 기본 방안(A안)의 고객 전환율이 20%일 때,
- 대안(B안)이 1%밖에 차이가 나지 않아도 결과가 유의미하려면 각 그룹당 표본이 최소 25,255는 되어야 한다.
➡️ 실험군(B)이 대조군(A) 대비 전환율이 1% 차이가 났을 때, 그 차이가 우연이 아닐 확률(유의미할 확률)이 95% 이상(p < 0.05)이 되도록 하려면 각 그룹에 최소 25,255명이 필요하다.
- 대안이 5% 차이가 난다면 표본이 1,030만 되어도 유의미한 결과를 얻을 수 있다.
➡️ 실험군(B)이 대조군(A) 대비 전환율이 5% 차이가 났을 때, 그 차이가 우연이 아닐 확률(유의미할 확률)이 95% 이상(p < 0.05)이 되도록 하려면 각 그룹에 최소 25,255명이 필요하다.
- A안 전환율 : 20%
- B안 전환율 : 21%
- 차이 : 1%
- 신뢰 수준 : 95% 가정 - z값이 1.96
- 전환율의 차이가 작을 수록 > 더 많은 표본 필요
- 작은 차이를 구분하려면 더 정밀한 관측이 필요!
- 인사이트
A/B 테스트를 할 때에는 변인 통제가 필수이며, 실험을 하기 전에 필요한 표본의 수를 신뢰 수준에 따라서 계산을 해서 정해야 한다. 변인을 통제하기 위해서는 고객을 무작위로 그룹에 할당해야 하며, 동일한 실험 환경에서, 충분하고 적절한 표본의 수로, 실험 시작 전에 그룹 분포의 유사성을 확인해야 한다. 실험을 수행할 때에는 수행자의 의도가 개입될 수 있기 때문에 실험의 목적과 결과가 오염되지 않도록 설계 단계부터 주의가 필요할 것 같다.
