[66일차]A/B Test 관련 문제들

A/B 테스트에서 생길 수 있는 문제들을 살펴보자

A/B Test시 발생하는 문제들

• 테스트 하기가 굉장히 어려운 특정 결정은 데이터로 판단할 수 없음
• 가설없이 혹은 대충 쓴 가설로 A/B Test를 하는 경우
• 분석에 필요한 데이터 품질이 낮은 경우
  • 이러한 경우는 Test보다는 직관적으로 판단해야 됨.
• 결과 분석시 선입견없이 객관적으로 분석을 해야 되지만, 그러지 못하는 경우 문제가 발생할 수 있다.
• 데이터 인프라 비용
  • A/B Test 실행시 데이터 인프라 비용이 많이 사용되기 때문에 신중하게 해야 된다.
• 비교 대상을 하나만 두고 해야 명확히 결과값을 도출할 수 있지만,
  비교대상이 여러개인 경우!
• A/B Test를 얼마나 돌리고 결정을 내릴 것인지 기간을 잘 정해야 된다.

문제 예시

한 회사에서 2가지의 A/B Test를 진행하고 있다고 해보자

첫 번째는 Cart Page
두 번째는 Checkout 에 대해서 진행한다고 할 때

결국 퍼널 혁식으로 진행 되기 때문에 각 유저를 균등하게 배치를 해주어야 한다.

• 균등하게 배치하지 않은 예시.

  

• 균등하게 배치한 예시