선정 아티클 : A/B 테스트 제대로 이해하기: ④ A/B 테스트 표본 크기와 유의미한 결과의 관계
- 요약 및 주요 포인트:
표본(트래픽) 사이즈와 유의미한 결과가 무슨 상관이 있나요?
표본이 많을 수록 모집단에 가까워지기 때문에 추측이 정확해지고 결과의 차이가 적더라도 유의미할 수 있다.
표본 크기와 A/B 테스트 결과의 차이에서 우리가 착각하는 것
직관적으로는 두 그룹 간 차이가 0.2%p인 경우에는 차이가 없을 수 있다고 생각할 수 있지만, 통계적으로는 0.2%p 차이밖에 없더라도 표본이 100,000명이나 되기 때문에 표본 사이즈가 충분하고, 우연이라고 볼 수 없다고 말할 수 있다.
AB 테스트를 통해서 우리는 비율을 비교하는 것이 아니라 통계적으로 이 비율의 차이를 믿을 수 있는지, 우연인지 아닌지를 확인하는 것이다.
두 그룹 간의 차이가 아무리 적어도 표본이 클수록 통계적으로 충분히 유의미할 수 있다.
- 인사이트
A/B 테스트 시 표본 사이즈의 중요성에 대한 글이었다. 표본 사이즈에 따라 결과의 신뢰도와 유의미성이 달라질 수 있음을 알 수 있었다. 그래서 결론적으로 적절한 표본 사이즈를 선택하는 방법은 뒤 아티클에서 다뤄질 것 같아, 먼저 구글링으로 찾아보았다.
적절 표본 사이즈를 구하기 위한 공식이 따로 있으며, 모집단의 크기, 신뢰 수준, 표본 오차를 통해서 구할 수 있다. 그저 막연히 표본이 작으면 신뢰도가 떨어질 테니 표본은 클 수록 좋다고만 알고 있었지만 논리적인 이유에 대해서 다시 한번 생각해볼 수 있었다.
