A/B test는 A 그룹과 B 그룹 총 2개의 그룹을 통해 종속변수의 통계적 유의성을 평가하는 대조 실험의 하나입니다.
예를 들어 A버전을 기존의 버전(control)으로 설정하고 B버전을 일부 수정을 거친 새로운 버전(treatment)으로 설정한 다음 "어느 버전에서 평균 방문자 수가 더 높을까"라는 가설검정을 수행할 수 있는 것입니다.
위와 같은 예시에서는 목표변수(종속변수)가 연속형 변수, 즉 두 그룹(버전) 사이의 모평균 차이에 대한 가설검정이기 때문에 독립표본 t 평균 검정을 사용할 수 있을 것입니다.
또한 목표변수가 연속형 변수가 아닌 범주형 변수, 특히 Yes or No의 이항 범주형 변수라면 A그룹과 B그룹 사이의 모비율 차이에 대해 가설검정을 수행할 수 있습니다.
예를 들어 클릭률(CTR) 같은 경우에는 클릭을 하면 1, 클릭을 안 하면 0으로 설정할 수 있기 때문에 이항 범주형 변수가 목표변수가 됩니다.
(클릭률 = 클릭 수 / 노출 수)
따라서 A그룹과 B그룹 사이의 모비율(클릭률) 차이에 대해 가설검정을 수행하기 때문에 prop.test() 함수를 사용할 수 있게 됩니다.
A/B test에서 주로 수행되는 type은 모평균 차이와 모비율 차이인 것 같지만, 문제나 가설의 종류에 따라 매우 다양하게 변형될 수 있을 것 같습니다.
Data Analysis Log