📖 A/B test의 정의
두 가지 콘텐츠를 비교하여 방문자 또는 뷰어가 더 높은 관심을 보이는 버전을 확인하기 위한 테스트를 의미하며, 주요 측정지표를 기반으로 가장 성공적인 버전을 측정하기 위해 변형(B) 버전과 비교하여 컨트롤(A) 버전을 검증한다.
-
웹 사이트 A/B 테스트
- 텍스트, 이미지, 색상 설계, CTA(call to action)
- A와 B 두 버전 사이의 트래픽을 분리
- 전환한 숫자, 원하는 작업을 수행한 방문자의 숫자
-
이메일 마케팅의 A/B 테스트
- 이메일 제목, 이미지, CTA
- 수신자를 두 세그먼트로 세분화
- 높은 오픈율(open rate)
📖 A/B test 필요한 시기와 이유
- 지속적으로 운영할 때 가장 효과적이다.
- 정기적인 테스트는 미세한 성능 조정 방법을 위한 권장 사항을 지속적으로 제공
- 테스트에 사용할 수 있는 옵션이 거의 무제한
📖 A/B test 수행방법
- 성과 기준 측정 및 검토
- 성과 기준을 사용하여 테스트 목표 결정
- 테스트에서 성과를 개선할 수 있는 방법에 대한 가설을 개발
- 테스트 대상 또는 위치 식별
- 테스트할 A, B 버전 생성
- QA 도구를 활용하여 설정 검증
- 테스트 실행
- 웹 및 테스트 분석을 사용하여 결과 추적 및 평가
- 결론을 적용하여 고객 경험 개선
📖 A/B test 수행이유
더욱 많은 고객이 참여할 수 있는 고객 경험(CX)을 설계 가능하게 하며, 더 설득력 있는 텍스트와 매력적인 비주얼을 구성하는 데 도움이 될 수 있다.
📖 웹 사이트 A/B 테스트에서 분석의 역할
A/B 테스트의 수명 주기 전반에서 분석은 계획, 실행, 추천 성과의 핵심 요소
[ 계획단계 ]
💡 해당 시점의 성과와 트래픽 수준을 이해해야 한다.
ex. 웹분석 (주요 데이터 포인트)
- 테스트 시나리오를 위해 검토 중인 페이지, 구성요소 또는 기타 요소의 트래픽(페이지 뷰, 고유 방문자)
- 참여(방문당 체류 시간, 방문당 페이지 수, 이탈률)
- 전환(클릭, 등록, 포기)
- 시간 경과에 따른 성과 추이[ 실행단계 ]
💡 대시보드의 사용
- 성능 측정지표를 실시간으로 모니터
- 테스트가 예상대로 작동하는지 검증
- 이례적 또는 예기치 않은 결과에 대응
(테스트 중지, 조정 및 재시작, 변경 사항의 성능 데이터 반영 여부와 변경 시점의 보장)
- 테스트 수행 기간을 확인하고 통계적 유의도를 보장하는 데 도움[ 성과단계 ]
💡 다음 단계를 결정하는데 분석을 사용
- 테스트에서 성공할 경우 이를 웹 페이지에 기준으로 제시하는가의 여부
- 이를 표준으로 지속하는가의 여부를 결정하는 데 사용참고:[ Oracle 사이트](https://www.oracle.com/kr/cx/marketing/what-is-ab-testing/#:~:text=%EB%8A%94%20%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80%EC%9A%94%3F-,A%2FB%20%ED%85%8C%EC%8A%A4%ED%8A%B8%EC%9D%98%20%EC%A0%95%EC%9D%98,A)%20%EB%B2%84%EC%A0%84%EC%9D%84%20%EA%B2%80%EC%A6%9D%ED%95%A9%EB%8B%88%EB%8B%A4.)
Data Analyst