A/B Test 분석을 위해 필요한 데이터

A/B 테스트 분석을 위해 필요한 정보

1. 사용자별 A/B 버킷 정보
   1. 누가 A에 들어갔고 B에 들어갔는지
2. 사용자별 행동 정보(퍼널데이터)
   1. 사용자가 어떤 아이템들을 보았고,
      어떤 아이템들을 클릭했고
      어떤 아이템들을 구매했는지

데이터 분석가는 1과 2의 정보를 JOIN!
A와 B로 그룹핑 하여(지역, 성별, 나이 등)
그룹간 통계 정보를 계산한다. (매출액 등)

---

A/B Test 분석 도출값 예시(E-Commerce)

• Experiment Data와 Funnel Data를 조인하기 (Transform => ELT)

  • Funnel의 맨위부터 A와 B간의 숫자를 비교 가능
  • 여기에 사용자의 메타 정보를 추가하면 다양한 분석이 가능

• 보통 시니어 데이터 분석가가 이 분석을 하게 된다.

  

experiment_id로 group by 한 모습

Impressions : 노출 상품 수
Clicks : 클릭 수
Converted : 사용자 전환 수(회원가입)
Revenue : 구매 수

• A/B테스트 최종 분석 대시보드 예시

  

• User Size(*) : 보통 둘의 크기가 통계적으로 동일하기를 바라며 그게 아니라면 테스트 설정에 무엇인가 잘못이 있음을 나타냄

• Impressions(*) : 노출 상품의 수.
  Impressions의 수를 줄이는 영향이 있는 것이 아니라면 ()과 마찬가지로 통계적으로 동일해야 된다.
  다르다면 뭔가 실험자체에 문제가 있음을 나타냄.