A/B Test란?
마케팅과 웹 분석에서, A/B 테스트(버킷 테스트 또는 분할-실행 테스트)는 두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment)이다.
- 웹사이트에서 A/B Test를 한다면?
Why do we need this Test?
UI/UX 측면에 있어서 사용자들로 하여금 어떤 화면이 -> 결과로 이어지는 지 확인하고 싶을 때, 유용하게 쓰일 수 있다.
실제로 2008년 미국 대선에서 오바마 전 미국 대통령 선거 캠프는 2008년 초선과 2012년 재선 모두에 빅데이터 기법들을 선거에 적극 활용했다.
오바마 웹사이트에서 500건의 A/B 테스트를 통해 기부 전환율을 49% 올렸고 이메일 수집률을 161%나 증가시켰다.
외부 변수 없이 단순한 사이트의 UI를 대상으로 한 A/B 테스트만으로도 저 정도나 증가시켰던 것
그래서 IT 기업에서도 적극적으로 활용하는 모습이 보이는데 대표적인 사례 몇 개를 살펴보자.
- 아마존의 페이지 width 테스트
이 테스트를 통해 사용자는 width를 제한하고 여백을 뒀을 때, 콘텐츠를 읽기 편하고 더 효과가 좋다는 결과가 나왔다.
- 넷플릭스의 랜딩페이지 버튼 테스트
30일간 무료로 체험해보라는 문구보다 그저 사용해보라는 간단한 문구가 사용자의 버튼 클릭을 이끌었다고 볼 수 있다.
그 외에도 구글의 탭메뉴 아이콘, 환불 가능 기한을 가시성있게 보여주는 테스트 등 여러 곳에서 유저의 반응을 이끌어 서비스를 이용하도록 유도하기 위해 사용하고 있다.
예시의 대부분이 웹페이지만 여기까지만 슥- 훑어봐도 앱 화면에서 또한 효과 있을 거라는 걸 확신할 수 있다.
How to separate A / B Users?
보통 단순히 트랲픽 비율을 나누는 방법으로 수행하는 줄 알지만, 서로 다른 대조군과 실험군을 보여주는 3가지 방식이 존재한다.
-
노출빈도분산 방식
-
사용자분산 방식
-
시간대분산 방식
| 노출 분산 방식 | 사용자 분산 방식 | 시간 분할 방식 | |
|---|---|---|---|
| 방법론 | A/B Test가 진행되는 페이지가 렌더링 될 때, 비율로 A와 B를 다르게 노출 | 사용자를 A 그룹과 B 그룹으로 분리하여, 고정적으로 다른 Variation을 노출 | 초~분 단위 정도로 시간대를 세밀하게 분할하여 A안과 B안을 노출 |
| 특징 | 가장 통계적 유의성이 높지만, UI/UX의 경우 사용자들에게 혼란을 줄 수 있다 | 사용자 별로 고정 UI/UX가 나오기 때문에 UI/UX 테스트에 적합하지만, 특정 Heavy User에 따라 결과값이 왜곡될 수 있다 | 보안/설계 상의 문제로 분산 방식의 사용이 어려울 때, 상대적으로 쉽게 활용할 수 있다. |
| 적합한 테스트 목적 | 알고리즘 테스트에 적합 | UI/UX 테스트에 적합 | 노출/사용자 분산 방식을 사용할 수 없는 경우 대안적 활용 |
간단 정리
노출 분산 방식: 특정 비율에 따라 A안과 B안을 노출
사용자 분산 방식: 특정 사용자 ID값으로 A안과 B안을 노출
시분할 방식: 노출이나 사용자 분산이 불가능한 시스템에서 진행해야할 때, 초,분,시간 단위로 분할하여 노출
So, How to test
일반적으로 툴들을 활용한다. 가장 자주 쓰이는 것들은 Optimizely, Google Optimize360이 있고 firebase를 통해 관리하기도 한다.
Reference
