지난 시간에는 A/B Test가 무엇인지, 왜 하는지에 대해 알아보았다. 그렇다면 A/B Test는 어떻게 하는 것인지에 대해 알아보자.
📌 이전 글 [데이터분석]A/B Test 알아보기 -1
✍🏻 A/B Test 하는 법
모든 실험에서 중요한 것처럼 A/B 테스트에서 가장 중요한 것은 사용자를 잘 나누는 것이다. 사용자를 나눌 때는 먼저 임의적으로 나눠야 한다. 임의적으로 나누지 않을 경우 두 집단의 차이가 무엇 때문에 발생하는 것인지 알 수 없기 때문이다. 또한 각각의 집단이 모집단을 대표할 수 있어야 한다.
사용자를 노출 분산 방식, 사용자 분산 방식, 시간대 분산 방식이 있다. 각각의 방식에 대한 특징은 다음과 같다.
노출 분산 방식의 경우에는 일정 비율(5:5 or 9:1)의 비율에 따라 A와 B를 노출 시키는 방식이다. 특정 heavy user가 매우 많은 Action을 보여주더라도 노출 빈도에 따라 양쪽에 모두 포함될 수 있기 때문에 통계적 유의성이 높다고 할 수 있다. 하지만, 동일 사용자가 A와 B를 모두 볼 수 있기 때문에 사용자에게 혼란을 줄 수 있고 결과값에 Bias를 만들 수 있다는 단점이 있다.
사용자 분산 방식의 경우에는 사용자의 고유 ID값에 따라 사용자 그룹을 나누고 각 집단에 A와 B를 보여주는 방식이다. 사용자에게 혼란을 적게 준다는 장점이 있으나 heavy user가 결과값에 많은 영향을 줄 수 있다는 단점이 있다.
시간대 분산 방식은 시스템 설계상 노출 분산 방식이나 사용자 분산 방식이 어려울 경우 선택할 수 있다. 초(second), 분(minute), 시간(hour) 등의 단위로 분할하여 테스트를 진행하는 방식이다.
🛠️ A/B 테스트 단계별 프로세스
1. 기존 사이트 분석(Research)
A/B 테스트를 시작하기에 앞서 기존에 운영되고 있는 서비스를 분석할 필요가 있다. 사용자가 가장 많이 방문한 페이지, 가장 많이 시간을 보낸 페이지 등 정량적인 데이터와 세션 기록, 사용자 설문 조사를 통한 정성적인 데이터를 확보해야 한다.
2. 가설 설정 및 가설 테스트 진행
데이터를 수집하고 분석이 완료되었다면 목표 달성에 필요한 KPI를 특정하고 이 목표을 달성할 수 있는 가설을 설정한다. 가설을 설정한 뒤에는 이 가설에 대한 신뢰도, 목표에 미치는 영향 등에 대한 가설 테스트를 진행한다.
3. 테스트 실행하기
위에서 언급한 것과 같이 상황과 목표에 따라 테스트의 기간, 방법을 설정하고 A/B 테스트를 진행한다.
4. 테스트 결과 분석 및 변경사항 도입하기
테스트가 완료 되었다면 앞서 정한 지표가 어떻게 변화되었는지, 얼마만큼의 신뢰도를 확보하였는지 등을 분석하여 변경사항을 도입할지, 새로운 A/B 테스트를 진행할지 결정한다.
© 참고
https://brunch.co.kr/@digitalnative/19
https://juun42.tistory.com/56
https://www.elancer.co.kr/blog/view?seq=76
