PM/PO JD에서 A/B 테스트 경험자를 찾는 경우를 많이 봤다. 내가 개발했던 솔루션 전체 모듈 단위 테스트를 해본 적은 있지만, AB테스트에 대한 정확한 이해가 필요해서 정리해봄.
A/B 테스트
오라클에 나와 있는 정의는
A/B 테스트는 두 가지 콘텐츠를 비교하여 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인합니다. 주요 측정지표를 기반으로 가장 성공적인 버전을 측정하기 위해 변형(B) 버전과 비교하여 컨트롤(A) 버전을 검증합니다. B2B 마케팅 또는 B2C 마케팅을 수행하는 디지털 마케팅 실무자가 선택 가능한 A/B 테스트의 수행 옵션은 다음과 같습니다.
- 웹 사이트 A/B 테스트(텍스트, 이미지, 색상 설계, CTA(call to action))는 A와 B 두 버전 사이의 트래픽을 분리합니다. 방문자 활동을 모니터링하여 어느 버전에서 1) 전환한 숫자가 가장 높거나 2) 원하는 작업을 수행한 방문자의 숫자가 가장 많은가를 파악합니다.
- 이메일 마케팅의 A/B 테스트(이메일 제목, 이미지, CTA)는 수신자를 두 세그먼트로 세분화하여 더 높은 오픈율(open rate)을 보여준 그룹을 결정합니다.
- 편집자가 선택한 콘텐츠와 사용자 행동 기반의 알고리즘에 의해 선택된 콘텐츠 가운데 참여가 더 많은 쪽을 확인합니다.
주안점과 상관없이 A/B 테스트를 통해 최적의 CX(고객 경험)를 제공하는 방법을 결정할 수 있습니다.
A/B 테스트 외에도 A/B/N 테스트도 있습니다. 여기서 "N"은 "알 수 없음"을 나타냅니다. A/B/N 테스트는 변수가 두 개 이상인 유형입니다.
라고 나와 있다.
즉, UI/UX 최적화를 위해 진행되는 시안 테스트이다.
사용자 경험 개선을 위해 사용되는 테스트 이므로, 기존 콘텐츠와 새로운 콘텐츠로 인해 실제 고객으로 전환될 확률을 알아 보는 테스트이다.
수행 방법
1. 리서치
기존 웹 사이트의 운영 현황을 조사
- 정량적 조사
- 사용자가 가장 많이 방문한 페이지, 가장 많은 시간을 보낸 페이지, 가장 높은 바운스율을 보이는 페이지등을 조사하면 수익 가능성이 가장 높거나 일일 트래픽이 가장 많은 페이지를 파악하는 데 도움이 된다.
- 정성적 조사
- 사용자가 어떤 영역에 가장 많은 시간을 할애하는지 알아보거나, 스크롤 동작 등을 판별하면 웹 사이트에서 문제 영역을 식별하는 데 도움이 된다.
2. 가설 설정 및 테스트하기
리서치 결과를 바탕으로 가설을 설정하고, 테스트
- 가설 설정
: 먼저 비즈니스 목표를 달성하는 데 필요한 KPI를 특정하고, 이 지표의 수치를 높여 전환율을 증가시키기 위해 필요한 가설을 설정 - 가설 테스트
: 설정한 가설에 대한 신뢰도, 목표에 미치는 영향, 설정 용이성 등 다양한 파라미터에 대해 가설 테스트를 시행합니다.
3. 버전 생성하기
기존 버전에서 UX관점으로 어떤 것이 효과가 있는지에 대한 가설을 세웠다면, 이를 바탕으로 변경 사항을 포함한 여러 버전을 만든다.
4. 테스트 실행하기
웹 사이트의 요구사항과 비즈니스 목표는 비즈니스마다 다르기 때문에 테스트 방법 및 기간 등을 명확하게 설정한 후, AB테스트를 실행
5. 테스트 결과 분석 및 변경 사항 도입하기
테스트 결과를 분석하며, 수치 비율의 증가, 신뢰도 수준, 기타 지표에 대한 직간접적인 영향 등을 고려
📌 전체 비즈니스 목표와 연결 지을 수 있어야함.
-> 제품 및 서비스에 대한 이해를 바탕으로 유의미한 수치를 얻어 비즈니스 KPI를 올리는 동시에, 사용자 경험 전반에 걸쳐 긍정적인 영향을 줄 수 있어야 한다.
🙋 AB 테스트 성공을 위한 체계적 접근법
1. 제품 및 서비스에 대한 이해
2. KPI 및 각 수치의 연관성에 대한 이해
3. AB 테스트 전략 수립 (어떤 수치를 높여야 제품 및 서비스 목표를 달성할 수 있을까?)
4. 최종 목표 검토 (이로 인해 서비스 전반 및 사용자 경험에 어떠한 영향을 미칠까?)
참고 : https://www.elancer.co.kr/blog/view?seq=76
https://www.oracle.com/kr/cx/marketing/what-is-ab-testing/
