선정 아티클 : A/B 테스트 제대로 이해하기 : ③ A/B 테스트 계산기의 세팅과 해석

- 요약 :

계산은 어디서 해야하나요?

구글 옵티마이저 : A/B 테스트 툴로, 유의미한 결과를 계산 및 도출해줌

A/B Testguide : A/B 테스트 결과를 제공하는 무료 계산 사이트

기초 통계 지식으로 계산기 세팅 및 해석하기

1. Test Data : 각 그룹별 표본 크기 및 최종 전환 숫자
2. Settings-Hypthesis : 단측 검정, 양측 검정 여부 설정 가능
3. Settings-Confidence : 신뢰 수준 설정. 일반적으로 95%로 설정

양측,단측? 검정을 어느 쪽으로 해야 하나?

일반적으로 양측 검정(two-sided)가 보수적이며 안전한 접근

신뢰 수준에 따라서 단측 검정일 경우 유의미하지 않은 결과가 양측 검정에서는 유의미하다는 결론이 나올 수 있다.

이제 결과를 해석해 봅시다

신뢰수준 95%로 실험 진행 시 p-value가 0.05(=5%) 이하라면 유의미한 결과이며 초과할 경우 유의미하지 않다고 판별

테스트 사이트 세팅은 끝, 그 다음은?

유의미하지 않다는 결과가 나올 경우, 실제로 A와 B는 차이가 없는지 표본이 부족한 것인지 추가적인 고민이 필요하다.

- 주요 포인트 :

A/B 테스트 진행 후 결과를 해석하기 위해서는 표본의 크기, 검정 방식, 신뢰 수준을 설정해야 하며 이 설정에 따라서 실험 결과가 달라질 수 있다. 실험 결과가 유의미하지 않다는 결과가 나오더라도 추가적인 고민이 필요하다.

- 용어 정리

• 구글 옵티마이즈 (Google Optimize)

  구글 옵티마이즈는 2023년도 서비스 종료로 인해 더이상 이용이 불가능하여 대체할 수 있는 다른 사이트를 찾아봤다.

  구글 옵티마이즈 사용 종료와 A/B테스트 대안
  

• 단측 검정 (one-tailed test, one-sided test)
  

  가설에 관계의 방향이 포함될 경우 모수에 대한 단측 검정을 적용할 수 있다. 즉, ‘~보다 크다’, ‘~보다 작다’와 같이 모수에 대한 추정이 특정한 방향을 지니면 단측 검정이 적용된다. 위 이미지에서와 같이 표본 분포의 한쪽 측면을 검정 기준으로 기각역(rejection region)을 설정하여 검정한다.

• 양측 검정(two-tailed test, two-sided test)
  
  모수에 대한 추정이 특정한 방향을 갖지 않을 경우 양측 검정이 적용된다. 이때에는 좌우 양쪽 꼬리 부분에 분표된 확률을 다 합쳐서 p-value를 계산할 수 있다.

인사이트

A/B 테스트 초반부를 학습할 때에는 예상보다 많은 통계적 개념이 요구된다는 점에서 다소 부담을 느꼈으나, 이후 다양한 통계 툴을 통해 이러한 계산을 효율적으로 수행할 수 있다는 사실을 알게 되어 실무 적용에 대한 자신감을 얻었다.
특히, 이전에 단편적으로 접했던 단측 검정과 양측 검정의 차이를 보다 깊이 있게 이해하게 되었는데, 동일한 유의수준 하에서는 양측 검정이 기각역을 양 끝단에 분산시키는 반면, 단측 검정은 한쪽 방향에만 집중되므로 상대적으로 기각 기준이 완화되어 유의미한 결과가 더 쉽게 도출될 수 있다는 점에서 해석의 왜곡 가능성을 줄이기 위해서는 양측 검정이 보다 보수적이고 신뢰할 수 있는 접근 방식임을 새롭게 인식하게 되었다. 이러한 개념들은 향후 통계적 실험을 설계함에 있어 방향성과 타당성을 확보하는 데 중요한 기준점이 될 것이다.