WARNING
: 마켓컬리의 분석가라고 상상을 펼치며, 해당 페이지에서는 A/B Test를 연습 겸, 설정해보기로 하였습니다! 완벽하지 않고, 틀린 부분이 많을 수 있습니다
A/B 테스트(버킷 테스트 또는 분할-실행 테스트)는 두 개의 변형 A와 B를 사용하는 종합 대조 실험입니다.
기존안과 대안안을 비교하여 실제 대안이 정말 효과가 있는 지를 알아보는 방법입니다.
예로,
동일한 기간동안 웹 사이트를 방문한 사용자를 임의의 그룹으로 분류하여, 각 그룹에게 다른 웹 사이트를 보여주고 어떤 그룹이 더 성과가 좋은지 정량적으로 판단합니다.
놀랍게도 접니다 🤭 오히려 좋아! 처음 서비스 경험하는 유저처럼(?) 어플을 사용할 수 있으니까 :) 처음 제품을 접하였기 때문에 초기 유입 유저 부분에서 개선할 수 있는 방안이 있을 지, 고민해보게 되었습니다.
📌 마켓컬리의 분석가라고 가정을 하고, 고객이 이탈하는 가설을 세우고 그에 대한 A/B Test를 세워보았습니다.
러프하게 처음 유입된 고객이 마켓컬리의 핵심 마켓컬리의 목표인 '결제' 까지의 여정을 5단계로 나누어 보았습니다.
🙋🏻♂️ 유입> 상품탐색 > 장바구니> 회원가입 > 주문하기
저는 마켓컬리를 사용해본 경험이 없기 때문에 위와 같은 고객 여정을 따라 진행해보았습니다. 그에 따라 2단계인 상품 탐색부터 4단계의 회원가입까지 전환율을 높일 수 있는 실험을 두가지 고민해보게 되었습니다.
🙋🏻♂️ 상황 ) 마음에 드는 상품을 찾았습니다! 👏🏻
다른 사람들의 후기를 보고 구매를 결정하려고 합니다. 하지만, 한 눈에 들어오는 것은 단어처럼 짧게 제공되고 있습니다. 클릭해서 본다 하더라도 어떤 내용이 부정적인지, 긍정적인지 쉽게 알기가 힘듭니다. 부정적이게 평가했다면 그 이유를 알 고 싶은데, 페이지 스크롤 하기가 어렵네요. 긍정/부정적인 후기를 남긴 사람들을 따로 모아볼 수는 없을까요?
: 후기의 좋음/싫음 여부를 볼 수 있어, 리뷰를 쉽게 확인할 수 있다면 상품을 장바구니에 담는 전환율이 높아 지지 않을 까?
왼쪽 (대조군) : 현재 화면
오른쪽 (실험군) : 필터링 기능 추가한 화면
- 핵심 지표 설정 : 장바구니 전환율 상승
- 보조 지표 : 후기 페이지 접속 이후 필터링 클릭율 , 후기글 클릭 수 분포 대비 장바구니 클릭 수, 후기 클릭 증가율
- 실험/통제 집단 : 사용자 무작위 선정
(단, 기존 사용자/새로운 유입자의 비율을 고르게 선별)- 독립 변수 : 긍정/부정 필터링 기능 여부
- 종속 변수 : 후기 클릭률, 장바구니 클릭율, 후기 페이지 체류 시간 등
- 통제 변수 : 고객 등급별/기간별 동일한 쿠폰, 신규 유저에게 제공되는 동일한 쿠폰 등, 기간(외부 요인)
- 기간 : 한달
후기글을 많이 보게 되는 것이 상품에 관심이 있어서 하는 행동으로 생각이 되는데, 실제로 많이 보게 되면 장바구니 전환율이 높아질까?
사실 부정적인 후기를 쉽게 접근 할 수 있게 제공해준다는 것 자체가, 고객이 어쩌면 제품에 대한 반감이 높아질 수도 있을 것이라고 생각하였습니다. 마켓컬리의 경우 가장 먼저 보이는 후기들은 긍정적인 부분이 많아 일부로 해당 기능을 추가하지 않았을 수도 있다고 느꼈습니다. 하지만, 직관에 의해서가 아닌 데이터를 보고 의사결정을 하는 것이 중요하다 판단하여 해당 A/B Test가 필요하다고 사고하였습니다.
또한,
새로운 기능을 추가하는 작업이기 때문에 리소스가 어느정도 소요되어, 그냥 배포하는 방법도 생각할 수 있지만, 고객 경험에 직접적으로 영향을 미치는 기능의 배포이므로 A/B Test를 거치는 것이 좋다고 생각합니다.
좋음/나쁨/ 기능은 후기를 등록할시에 새롭게 고객들이 선택하는 것이므로, 기존에는 없던 새로운 기능을 추가하는 것입니다.
따라서, 기존에 등록한 후기들은 좋고 나쁨을 후기에서 선택하지 않았으므로, 기존 후기들에 대해서는 후기 키워드 분석을 통해 긍정/부정어를 나누어 세팅해주어 좋음/나쁨에 필터를 잡아주는 것이 가능하지는 않을 까 생각하였습니다.
마켓컬리의 상품이 점차 많아지고 있습니다. 카테고리에서 비슷한/같은 상품에 부정적인 의견을 달아주신 고객들에게 서로 좋아했던 상품을 추천해 줄 수 있는 발판이 되어 추천시스템에 정보를 다양하게 활용할 수 있지 않을까 싶습니다.
영향을 미칠 수 있는 변수가 하나라고 단정 지을 수 없습니다...🥲 -> 통제 변수 관리 실패로 이어질 수 있습니다 !
기존 화면에서, 2가지가 다릅니다.
따라서, 좀 더 명확하게 테스트를 하고자 한다면,
으로 1 테스트를 진행 후, 만족할 만한 결과를 얻는다면 2 테스트를 진행하여 -> 두번 테스트를 진행하는 방법도 있을 것 같습니다.
🤷🏻♀️ 상황 ) 드디어 장바구니에 넣고 결제 눌렀습니다! 💸
첫 구매라서 회원가입을 해야합니다! 빨리 결제하고 싶은데... 생각보다 써야하는 부분이 많네요? 음음,, 괜히 부담감을 느끼고 살짝 귀찮기도 합니다... 이번달 돈을 좀 많이 쓴 것 같기도 하고...!
현재, 마켓컬리의 회원가입 창은 한 화면에 모든 내용을 입력하라고 나와있습니다. 고객에게는 심리적으로 압박이 있을 수 있습니다. 한 화면에 한 질문 마다 해당 값을 입력하게 하여 회원가입의 과정이 어렵게 느껴지지 않도록 개선안을 생각하였습니다.
왼쪽 (대조군) : 현재 화면 (한번에 회원가입)
오른쪽 (실험군) : 단계별 회원가입 화면
- 핵심 지표 설정 : 가입 완료율
- 보조 지표 : 회원가입 클릭 후, 회원가입 완료율
- 실험/통제 집단 : 신규 유입자 무작위 선정
(사용자 분산 방식)- 독립 변수 : 회원가입 단계 분할 화면
- 종속 변수 : 회원가입 완료율, 회원가입에 걸리는 시간 등
- 통제 변수 : 기간/ 신규 고객 동일한 쿠폰 제공, 이벤트, 기간(외부요인)
- 기간 : 한달
마켓컬리는 간편 소셜 회원가입을 제공하지 않고 자체적으로 고객의 정보를 수집하고 있습니다.
간편 소셜 로그인을 제공하게 되면 굉장히 빠른 시간 내에 가입 절차를 마무리 할 수 있게 됩니다. 물론, 소셜에서 기본 정보 제공 동의를 누르지 않은 고객의 정보는 한정되게 얻기도 합니다.
로그인 이후, 추가 정보 입력시 쿠폰 제공 등의 이벤트 팝업 창을 띄워 추가 정보를 얻는 방법이나, 처음 주문 시 주소, 이름, 나이 등의 개인정보를 처음 쓰는 부분의 팝업을 띄우는 방안도 고민해보며 추가 정보를 얻을 수 있을 수도 있어 해당 방법도 고민하게 만들었습니다.
그, 그럼 나는 필요없어...?
신규 고객도 매우 중요하지만(매우!), 재구매율을 높여 충성 고객을 늘리는 것이 회사에서는 장기적으로 더 중요하게 다루고 있는 부분이라고 생각합니다.
마켓컬리는 결과물(기사)를 통해 충성도 있는 고객을 구축하기 위해 꾸준히 고민하고, 실험을 하고 있다고 생각합니다.
해당 테스트를 설계한 것은 처음 사용하는 입장에서 바라본 눈이여서 가설에 대한 제한적인 테스트 방법들을 고민하게 된 것이 아닌가 싶습니다.
저 또한 마켓컬리의 충성 고객으로 제품을 충분히 사용해 본 후에 A/B Test를 설정하게 된다면
[기존 고객 -> 충성 고객]으로 재구매율을 높일 수 있는 다른 방안도 고민해 볼 수 있을 것 같아서 현재로써는 아쉬움이 있습니다.
추후, 충성 고객이 된 후에 (+ 실제 업무를 진행해본 분석가가 된 후에) 제가 제안했던 가설을 다시 들여다보고 (미흡하고 틀린 부분이 있어 > 굉장히 수치스러울 것 같지만), 추가로 다른 재구매율을 높일 수 있는 가설을 설정하여 다시 고민해보기로 하고 이만 마무리를 하겠습니다 : )
양승화님 - 그로스해킹 책
핵클 커뮤니티