미리 설계해보는 우리 회사의 A/B test

sir.YOO_HWAN·2022년 6월 12일

GrowthHacking

목록 보기

8/9

아직 A/B test를 도입하기 전이지만

미리 실험 프로세스를 정해보고
어떤 실험을 할지 연습해보도록 한다.

A/B test 단계

크게 단계는 아래와 같다.

가설설정
- 귀무가설 : 차이가 없다
- 대립가설 : 차이가 있다.
평가지표 설정
- 평가지표로 무엇을 왜? 설정 할 것인가.
- 최상위 의도: 실험을 해서 어떤 수치를 더 낫게 만드려 하는 지?
사용자 분할
- 대조 그룹과 실험 그룹을 만들기
  - 타깃 그룹을 어떻게 설정할 것인가?
  - 표본 추출방법으로는 어떤 방법을 사용할 것인가?
  - 표본의 크기는 얼마로 할 것인가?
AB 테스트의 집행 기간을 결정
- 예상 기존 전환율,
- 희망 최소 전환 개선율
  - 유의미한 차이??? 얼마정도 ? 5% 증가??
- 대조군을 포함한 변형/조합의 수
- 일평균 방문자 수 (DAU) 등의 요소를 고려
- AB 테스트에서 실제 유의성을 얻는 데 필요한 시간을 계산
  - 실험 기간을 설정할 때는 최소한의 비즈니스 사이클을 포함해야함
  - 예시로 주말, 평일의 매출이 크기 때문에 주말을 포함하도록 하는등을 고려
테스트 수행
- 관리 그룹과 변동 그룹의 차이가 통계적으로 유의한지 여부를 확인
  - 실험군의 성질이 동질한 지 판단
  - 예를 들어, 레벨의 경우 그룹 별로 레벨의 분포가 비슷해야 함 (저레벨 - 중간 레벨 - 고레벨)
  - 실험군이 통계적으로 동질한 지 검증: 카이제곱 분포
결론을 도출
- 결론이 유의미한가? / 편향은 없었나 ?
  - 유저가 동시에 다른 실험에 노출되면 안된다.
- P_value 확인
  - 유의수준과 검정력은 괜찮은가?
  - 효과 크기를 무시한 유의성 검정은 아닌가 ?
- 다음 실험은 어떻게 진행하면 좋은가 ?

실험 1

문구 수정

비즈니스 문제상황

카드 등록시 특정 페이지에서 고객의 개인정보활용동의를 받을수 없어서 고객들에게 서비스를 제공할수 없는 상황이 발생한다. 그로인해 고객들이 계속해서 이탈하게 된다.

페이지를 두고 다같이 논의한 결과 '표현하는 문구의 신뢰도가 낮을수도 있다'는 가설을 세우게 된다.

문구의 신뢰도를 높히기 위해서 기존 문구인 A: 여러분의 개인정보를 주세요. 와 변경을 희망하는 문구인 B: 여러분의 개인정보를 주셔야 서비스를 제공해 드릴 수 있습니다.
두 가지 경우 중 어느 문구가 더 나을지 실험을 하려고 한다.

A/B test 를 설계해보자

크게 단계는 아래와 같다.

가설설정
- 귀무가설 : B페이지는 A페이지와 비교해서 개인정보활용동의의 차이가 없다. (효과 없다.)
- 대립가설 : B페이지는 A페이지와 비교해서 개인정보활용동의 동의수 늘어날 것이다. (효과 있다.)
평가지표 설정
- 평가지표로 무엇을 왜? : 개인정보활용동의 동의수
사용자 분할
- 대조 그룹과 실험 그룹을 만들기
  - 타깃 그룹을 어떻게 설정할 것인가?
    - 기존에 우리 서비스를 이해하고 사용하던 고객 X
    - 새로 들어오는 고객
    - Organic (단순 검색)으로 들어오는고객
  - 표본 추출방법으로는 어떤 방법을 사용할 것인가?
    - 타겟 그룹중 랜덤 샘플링
  - 표본의 크기는 얼마로 할 것인가?
    - 일 가입자가 평균 200명이므로 5일 1천명으로 한다.
AB 테스트의 집행 기간을 결정
- 예상 기존 전환율
  - 예상컨데, 기존 동의율 보다 10% 늘어날 것이다.
- 희망 최소 전환 개선율
  - 최소 1%는 개선되어야 새로운 페이지로 대체될 것이다.
- 대조군을 포함한 변형/조합의 수
- 일평균 방문자 수 (DAU) 등의 요소를 고려
AB 테스트에서 실제 유의성을 얻는 데 필요한 시간을 계산
테스트 수행
- 관리 그룹과 변동 그룹의 차이가 통계적으로 유의한지 여부를 확인
결론을 도출
- 결론이 유의미한가? / 편향은 없었나 ?
- P_value 확인
  - 유의수준과 검정력은 괜찮은가?
  - 효과 크기를 무시한 유의성 검정은 아닌가 ?
- 다음 실험은 어떻게 진행하면 좋은가 ?