기사링크
https://yozm.wishket.com/magazine/detail/1667/
https://yozm.wishket.com/magazine/detail/1680/
요약
A/B 테스트 표본 크기와 유의미한 결과의 관계
-표본(트래픽) 사이즈와 유의미한 결과의 상관관계
:표본이 많으면 많을수록 그룹 A와 B의 결과 차이가 적더라도 '유의미하다'라고 인정해주기 때문에 상관성이 높음.
*왜 표본이 많으면 많을수록 작은 차이도 인정해 줄까?
- 표본은 많을 수록 좋다; 신뢰도 향상?
그렇다면 표본이 많을수록 '더 적은 차이도 인정해준다'는 건 어떤 의미?
- 차이의 크는 상관이 없나?
#표본 크기와 A/B 테스트 결과의 차이에서 우리가 착각하는 것
위 실험 결과를 보면 100,000명끼리 비교해서 차이가 고작 0.2%p 수준이라고 생각할 수있으나 통계적으로 보면 0.2%p 차이밖에 없더라도 표본이 100,000명이나 되니 이 정도면 충분하다. 즉, 우연이라고 볼 수 없다.
=
우리는 단순히 비율을 비교하는 게 아니다. 우리는 이 비율의 차이가 정말로 믿을 수 있는 결과인지, 다른 경우에도 반복되어 우연이 아니란 걸 증명할 수 있는지 알고 싶은 거다. 표본이 커서 모집단의 크기에 가까워질수록 추측은 더욱 정확해지고, A와 B의 차이가 우연에 의해 발생할 가능성은 줄어든다
결론적으로 두 그룹의 차이가 작아도 표본이 충분히 크면 유의미한 차이라고 결론내릴 수 있다.
그렇다면 표본은 얼마나 커야 할까?
- A/B 테스트에 적정한 표본과 주의 사항
표본의 크기는 다른말로 두 방안의 결과가 몇 %정도 차이가 날 것이라고 기대하는가?로 바꿀 수 있다.
그리고 그 결정은 결국 A안과 B안을 기획하고 설계한 담당자의 추측, 자신감, 또는 이전의 경험을 바탕으로 할 수밖에 없다.
A/B 테스트 수행 과정에서 주의할 점
- 충분한 데이터가 모이기를 무작정 기다리는 것은 좋지 않다.
- 표본이 충분해지기 전에 실험 종료하여 결과를 의도적으로 조작가능.
- 동시간대 실험을 시작하기.
인사이트
단순한 비교가 아니라 고객에게 정말로, 확실하게, 유의미하게, 더 나은 방안을 제공하고 이를 통해 서비스(의 지표)를 개선하고 싶다면, A/B 테스트 뒤에 숨은 우리의 진짜 질문과 이를 구현하고 제대로 이해하기 위한 통계 지식, 그리고 이를 바탕으로 한 몇 가지 주의 사항은 꼭 알아야 한다.
A/B테스트는 편리성으로 많이 사용하지만, 그만큼 많은 오류를 범하기도 한다. 이러한 오류를 범하지 않기 위해서는 A/B테스트에 대해 기본적인 지식을 습득하고 있는 것이 좋을 것 같다.
