A/B 테스트
A/B 테스트란?
A와B의 두 가지 콘텐츠를 비교해 사용자의 방문/뷰어와 같은 반응이 더 높은 버전을 확인하는 것이다. 회사 내부 측정지표를 기반으로 기존(A)버전과 변형된(B)버전을 비교하여 정량적 수치로 검증할 수 있다. 주로 웹사이트의 구성요소, 이메일 마케팅, 알고리즘 비교에 사용된다.
언제?
주로 어떤 방법이 최대의 성과를 낼지 불확실한 상황에서 사용한다.
1. 낮은 성과를 보일때
2. 새로운 서비스를 시작할때
어떻게?
지표 설정
A/B 테스트를 시작하기 전에 어떤 지표(예: 클릭률, 구매율, 등록률)를 향상시키고자 하는지 명확하게 설정한다.
- 측정 항목에 따라 가설에 이용하는 변수가 달라짐
- UI : 새로운 기능에 대한 참여도
- 검색 : 검색 경험
- 기술 테스트 : 앱 로딩 시간, 각기 다른 네트워크 환경에서의 화질
테스트 실행
일정 기간 동안 A 그룹과 B 그룹에 대상을 무작위로 할당하여 두 버전을 노출시킨다.
동시에 두 그룹에서 수집된 데이터를 분석한다.
검증 및 결과해석
클릭, 구매, 가입 등과 같은 특정 이벤트에 대한 사용자행동 데이터를 수집한다. 수집된 데이터로 통계적 검증을 수행하여 어떤 버전이 효과적인지 결정한다.
일반적으로, 통계적으로 유의미한 차이가 나타나면 테스트를 종료하고 더 나은 성과를 보이는 버전을 선택한다.
적용
A/B 테스트 결과를 통해 얻은 통계적으로 검증된 정보를 바탕으로 더 나은 버전을 선택하고 해당 변경을 적용한다.
이를 통해 비즈니스 성과를 향상시키거나 사용자 경험을 개선할 수 있다.
Netflix의 A/B 테스트
1. UI 테스트
Product A(기존UI)와 Product B(거꾸로된 UI제공)를 무작위로 나눠 실험
-
클릭률이 향상됨을 확인 → 향상의 요인이 단지 제목을 쉽게 읽기 위함 일 수도 있다. 이 경우, 재생으로 이어지는 회원들의 비율 확인 필요
-
CASE1 : 기간에따라 UI변화 제공
- ProductB 적용으로 참여도(Engagement)가 높아진 것처럼 보임
- 통제 변수 설정이 잘못될 가능성 : 만약, 인기 시리즈 출시와 같은 외부요인으로 인한 증가라면?
-
CASE2 : A/B 그룹 무작위 할당
- 전반적으로 B의 참여도가 낮다.
- 실제 대작 출시일인 Day16에 A, B그룹 모두 참여도가 증가한다!
⇒ 거꾸로된 UI(Product B)가 참여도 감소를 초래했을 가능성이 높다.
-
신작 혹은 대작이 출시되는 것과같은 외부요인으로 통제하지 못하는 일들이 항상 존재할것이다.
A/B 테스트 결과인 회원들의 행동(피드백)을 기반으로 인과관계를 확립하고, 확신을 가지고 제품 변경을 진행한다.
2. TOP10 테스트
"만약 X를 변경하면, 회원 경험을 향상시켜 Y수치가 향상될 것이다" 형태의 테스트 가능한 가설을 수립
- 가설 : 회원들에게 상위 10개 콘텐츠를 제공하면 만족도가 높아질 것.
- 요소
1. 국가 별 인기 콘텐츠를 제공함으로써 시청자 간 연결
2. 대화에 참여하려는 인간의 욕구 - 주요 결정지표 : 참여도 (자세한 지표 공개x)
- 보조 결정지표 : 제품 기능 테스트시 다양한 보조 지표들이 영향을 미침. 이러한 보조지표들은 주요지표와의 인과관계 설명에 도움이 되며, 의도된 인과 관계의 결과인지 확인하는데 사용한다.
- 가드레일 지표 : 테스트 중 부작용을 최소화하고 새로운 제품 경험이 회원에게 부정적 영향을 미치지 않도록 보장하기 위해 사용. 예를 들어, 고객 서비스 문의 비율을 비교해 새로운 기능이 회원에게 혼란이나 불만을 초래하지 않는지 확인
=>연구 결과 : 상위10개 콘텐츠를 제공한 뒤 지표들 - 장기구독 유지확률이 상관관계 있음으로 나타남.
A/B 테스트란 무엇인지, 왜 중요한지에대해 알아보았다. 다음 포스팅엔 A/B 테스트 결과의 해석에 대해 자세히 알아볼 예정이다.
