1. A/B테스트란?
기존안과 새로운 안 중에 어떤 것이 더 나은지 선택하기 위해 두 집단의 사용자의 반응을 비교하는 대조 실험 방식 중의 하나.데이터 기반으로 개선방향 가능(인과관계가 분명하게 나타남)
- 신규기능이 추가되면 유저가 우리 제품에 더 만족할까?
- Push 메세지에 어떤 문구를 넣어야 클릭률이 높을까?
- 어떤 추천 시스템이 유저에게 더 잘 추천했다고 볼 수 있을까?
- 어떤 고객에게 할인 쿠폰을 줘야 효과적일까?
2. A/B테스트 프로세스
- 목표 설정 - ex) 노출 대비 구매 전환율을 높이자
- 가설 설정 - 목표를 달성하기 위해 어떤 가설을 검즈알 건지 설정
- A/B 그룹 생성- 테스트를 위해 대상을 기존버전(A그룹)과 새로운 버전(B그룹)으로 나눠 실험 진행.
- 실험 설계 - 측정 지표, 실험 기간, 성공기간, 그룹분배등을 사전에 설계
(구매 전환율을 주요 지표로 설정, 이 지표가 10% 이상 증가하면 성공으로 본다.)- 실험 실행 - 데이터 수집
(2주동안 A와 B그룹에서 각각 구매 전환율 데이터를 수집하고, 실험 중간에 문제가 생기지 않도록 계속 체크한다.)- 데이터 분석
실험의 신뢰도 분석, 샘플 크기와 조건등도 분석- 결과 도출
- 반복 - 추가적인 개선을 위해 반복적으로 A/B테스트를 수행
1. 목표 설정
- 명확한 목표 설정, 하나의 실험에서는 하나의 목표만
- 정성적 목표와
(목표를 달성하기 위해 정해놓은 결과나 행동에 대한 설명)- 정량적 목표를 모두 고려
(구체적인 수치나 측정지표를 정하는 것)
2. 문제 정의 및 가설 설정하기
1) 프로덕트 문제 정의
- 사용자 인터뷰와 데이터 분석등을 통해 원인 분석
2) A/B 테스트에서 변경할 대상
- 비즈니스 로직 or 알고리즘
- 사용자가 보는 화면 디자인
- 마케팅을 위한 텍스트나 이미지
유의사항
변경 대상은 사용자 경험에 큰 영향을 미칠 수 있는 요소로 테스트
(구매 지표를 올리기 위해 A/B 테스트를 하고 싶다면, 쇼핑몰 홈페이지에서 "구매하기" 버튼의 디자인을 변경하는 것이 전체 구매율에 미치는 영향이 크다.)
3) 가설을 문장 형태로 수립
가설의 형태: 원본 A를 대안 B로 바꾸면 지표 X가 Y하게 변할 것이다.
- 귀무가설- 대립가설을 사용: 실험의 목적과 결과 해석을 명확히 하기 위해
귀무가설: 아무런 변화가 일어나지 않았다는 가정
대립가설: 변화가 일어날 것이다 라는 가정
3. 지표 설정 및 로그 정의하기
성공 지표
보조 지표
가드레일 지표 - 테스트가 원하지 않는 방향으로 가지는 않는지
