A/B 테스트 제대로 이해하기 : ① 테스트를 설계할 때 우리의 질문은?
- 요약
A/B 테스트 설계 시 궁극적인 목표는 ‘이번 A/B 테스트의 결과가 테스트 내에서만 유효성을 갖는 것이 아니라, 앞으로도 유효하며 실제로 선택된 시안이 확실하게 효과가 좋으며 이 결과가 A와 B의 차이로 우연하지 않게 발생된 것이 맞는 지 확인 하는 것’이다.
- 주요 포인트 :
A/B 테스트를 설계할 때 우리가 진짜로 궁금해하는 것
- A/B 테스트 결과, 그 차이가 상당히 커야 한다.
- 실험 배경이 두 그룹 모두 동일하며 공정한 상황이어야 한다.
- 실험 결과가 우연이 아니어야 한다.
A/B 테스트의 진짜 질문
‘이번 A/B 테스트의 결과가 테스트 내에서만 유효성을 갖는 것이 아니라, 앞으로도 유효한가?’
‘실제로 선택된 시안이 확실하게 효과가 좋은가?’
‘이 결과가 A와 B의 차이로 우연하지 않게 발생된 것이 맞는가?’
➡️ 진짜 질문에 대한 답을 얻기 위해 A/B 테스트의 설계와 결과 해석 시 트래픽을 단순히 절반으로 나누거나, 변수를 하나만 설정하거나, 더 나은 결과를 보여주는 것만으로는 부족하다.
- 핵심 개념 :
A/B 테스트
디지털 환경에서 전체 유저를 대상으로 대조군 그룹과 실험군 그룹으로 나누어서 특정 알고리즘이나 UI 등의 효과를 비교하는 방법론이다.
즉, 사용자에게 제공되는 서비스의 두 가지 버전을 비교하여 어떤 것이 더 나은 성과를 보이는 지 판단하기 위한 실험.
- 인사이트 :
A/B 테스트의 목적은 단순히 A와 B 중에서 목표 달성을 위해서 어떤 것이 효과적인지 확인 하는 것이 아니다. 이 테스트는 표본이기 때문에 이 결과가 실제 전체 사용자에게도 적용되는지 추론하기 위해서 확실하게 유의성을 띠는지 확인해야 한다는 것을 전제하에 진행해야 한다고 느꼈다. 결국 통계적으로 유의미한 검증이 되기 위해서는 설계와 결과 해석 역시 단순하게 생각해서는 안 될 것 같다.
통계학 강의를 수강하고 나서 이 아티클을 읽고 나니 A/B 테스트는 통계적 검증을 거친 뒤에 내리는 의사 결정이라는 점이 통계학과 밀접한 연관이 있다는 생각이 들었다.
A/B 테스트의 결과가 우연한 결과로 이루어지는 것이 아니라 실제로 의미있는 차이를 보이는지 확인하기 위해서는 가설 검증 단계가 필요하다.
귀무 가설과 대립 가설을 설정하고, p-value를 통해 결과의 유의성을 평가하는 과정이 뒷 아티클에서도 나올 것 같다.
또한 동계에서는 표본과 모집단과의 관계도 중요한데, A/B 테스트를 통해서 얻은 결과가 표본에서만 유효한 것이 아니라 전체 사용자 즉, 모집단에서도 적용될 수 있어야 한다. 이를 위해 실험 설계 시 표본이 대표성을 띨 수 있도록 신중하게 고려해야 할 것이다.
결국 단순히 A/B 테스트는 단순히 둘 중 어떤 것이 더 낫다고 평가받는지를 확인하는 것이 아니라, 그 차이가 통계적으로 유의미한지를 분석하는 과정이 핵심이다. 앞으로 통계에 대한 내용을 학습하기 때문에 데이터 분석 시에도 단순한 수치끼리의 비교가 아닌, 통계적 검증을 기반으로한 신뢰할 수 있는 결과를 도출할 수 있도록 학습 내용을 응용해보려고 한다.
