A/B 검정

두 그룹(A, B)과 비교 하는게 포인트

A/B 검정이란?

위와 같은 결과는 오른쪽 사진의 디자인을 채택해야겠다 생각 할 수 있지만
위 결과는 모두 표본에 의한 결과로 모집단과 동일한 값을 가질 수 있는지 의문이 생기기 때문에 가설검정이 필요하다.

AB 검정

• AB 검정은 두 버전(A와 B)중 어느 것이 더 효과적인지 평가하기 위해 사용되는 검정 방법.
• 마케팅, 웹사이트 디자인 등에서 많이 사용됨.
• 사용자들을 두 그룹으로 나누고, 각 그룹에 다른 버전을 제공한 후, 반응을 비교.
• 일반적으로 전환율, 클릭률, 구매수, 방문 기간, 방문한 페이지 수, 특정 페이지 방문 여부, 매출 등의 지표를 비교.

목적

• 두 그룹 간의 변화가 우연이 아니라 통계적으로 유의미한지를 확인.

두 개를 비교하여 구매 전환율이 큰 것을 선택

• 온라인 쇼핑몰에서 두 가지 디자인(A와 B)에 대한 랜딩 페이지를 테스트하여 어떤 디자인이 더 높은 구매 전환율을 가져오는지 평가.

import numpy as np
import scipy.stats as stats

# 가정된 전환율 데이터
group_a = np.random.binomial(1, 0.30, 100) # 30% 전환율
group_b = np.random.binomial(1, 0.45, 100) # 45% 전환율

# t_test를 이용한 비교
t_stat, p_val = stats.ttest_ind(group_a, group_b)
print(f"T-Statistic: {t_stat}, P-value: {p_val}")

# T-Statistic: -2.9146401439978886, P-value: 0.003970991226112636 
									#0.05보다 작음으로 통계적으로 유의하다.

stats.ttest_ind가 뭐지?

• scipy.stats.ttest_ind함수는 독립 표본 t-검정(Independent Samples t-test)을 수행하여 두 개의 독립된 집단 간 평균의 차이가 유의미한지 평가합니다.
• 이 함수는 두 집단의 데이터 배열을 입력으로 받아서 t-통계량과 p-값을 반환합니다.
  • t-통계량 (statistic)
    • t-검정 통계량이다. 두 집단 간 평균 차이의 크기와 방향을 나타낸다.
  • p-값(p-value)
    • p-값은 귀무 가설이 참일 때, 현재 데이터보다 극단적인 결과가 나올 확률.
    • 이 값이 유의수준(α) 보다 작으면 귀무 가설을 기각하고 이 값이 유의수준(α) 보다 크면 귀무 가설을 채택함.

실전 예시

딜라이트룸 A/B 테스트 사례
https://medium.com/delightroom/알라미의-a-b-테스팅-일지-1-eb811fe72a17
당근마켓 A/B 테스트 사례
https://medium.com/daangn/거래-후기-실험을-통해-따뜻한-거래-경험-만들기-3d7ac18d8e3