지난 시간에는 A/B Test를 어떻게 하는지 알아보았다. 이번 시간에는 A/B 테스트를 어떻게 신뢰할 것인지, 주의사항은 무엇인지 알아보자.
🤷🏻 A/B 테스트 믿을 수 있을까?
A/B 테스트가 종료되고 결과값을 받았을 때 의사결정자는 이 테스트를 어떻게 판단할 수 있을까? 가장 많이 활용되는 방식은 P-value가 있다. 통계 분석에서 P-value는 가장 널리 사용되는 것으로 A/B 테스트에도 유용하게 사용될 수 있다.
유의 확률(P-Value)이란 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적인 결과가 실제로 관측될 확률이다. 실험의 유의확률은 실험의 표본 공간에서 정의되는 확률변수로서, 0~1 사이의 값이다. - 위키백과
단순히, 유의 확률은 "어떤 사건이 우연히 발생할 확률"을 말하며 이 값이 작을수록 이 사건이 우연히 발생할 확률이 낮기 때문에 인과관계가 있는 것으로 추정할 수 있는 것입니다.
🤦🏻♂️ A/B 테스트 시 주의할 점
가장 널리 사용되고 뛰어난 효과를 가지고 있는 A/B Test도 만능은 아니다. 주의사항과 단점은 과연 무엇이 있을까?
✔️ 전체 비즈니스 목표와 연결 지을 수 있어야 한다.
단편적인 부분에 매몰된 나머지 전체 목표를 보지 못하는 오류를 범하는 것을 피하도록 주의해야 한다. 즉, 특정 부분에서 긍정적인 결과를 얻었다면 단기적으로는 제품 및 서비스 지표가 상승하는 듯 보일 수 있지만 최종적인 목표 달성에 미치는 영향은 미미할 수 있다.
이를 위해서는 제품 및 서비스에 대한 이해를 바탕으로 유의미한 수치를 얻어 비즈니스 KPI를 올리는 동시에, 사용자 경험 전반에 걸쳐 긍정적인 영향을 줄 수 있어야 한다.
✔️ 테스트를 많이/자주하면 단기적으로 손해가 발생할 수 있다.
예를 들어, 쇼핑몰에서 구매전환율이 높은 상품 이미지가 무엇인지 알아보기 위한 테스팅을 진행한다고 치자. 2주 동안 전체 방문자를 50:50으로 나눠 기존 상품 이미지와 새로운 상품 이미지를 보여주고자 한다.
테스트를 3일 쯤 진행했더니 새로운 이미지를 본 집단에서의 매출이 기존에 비해 절반 밖에 나오지 않는다면 어떻게 해야하나? 애초에 계획했던 2주동안 테스트를 진행하려면 막심한 매출 손해를 감수해야한다.
✔️ 시간의 흐름에 따라 바뀔 수 있다.
A/B 테스팅의 결과는 계절 변화나 취향 변화 등에 따라 달라질 수 있다. 작년 겨울에 A/B 테스팅을 하여 얻은 결론은 언제까지 유효할까?
A/B 테스트는 시공간적 보편성에 대한 가정을 깔고 있다. 이 가정은 비지니스 맥락에서는 매우 약해지기 때문에 확실성을 유지하기 위해서는 실험을 지속적이고 반복적으로 시행해야 한다. 하지만 앞서 말한 비용의 문제와 결부되기 때문에 많은 고민이 필요하다.
"그럼에도 A/B 테스트는 좋다!"
A/B 테스트는 오래된 역사를 가지고 있으며 지금도 여전히 데이터 분석 분야에서 유용한 실험 방법으로 사용되고 있다. 대부분의 IT기업에서는 이것을 사용하고 있으며 데이터를 기반으로 한 의사결정 과정에서 빠질 수 없다.
주의사항과 단점들을 고민하여 좋은 실험을 설계할 수 있는 것 또한 데이터를 보는 사람의 능력일 수 있겠다. 그것을 위해 끊임 없이 공부하고 고민하자.
© 참고
https://brunch.co.kr/@digitalnative/19
https://juun42.tistory.com/56
https://www.elancer.co.kr/blog/view?seq=76
https://boxnwhis.kr/2015/01/29/a_b_testing.html
https://bodi.tistory.com/
