WARNING : 마켓컬리의 분석가라고 상상을 펼치며, 해당 페이지에서는 A/B Test를 연습 겸, 설정해보기로 하였습니다! 완벽하지 않고, 틀린 부분이 많을 수 있습니다
A/B Test란?
A/B 테스트(버킷 테스트 또는 분할-실행 테스트)는 두 개의 변형 A와 B를 사용하는 종합 대조 실험입니다.
기존안과 대안안을 비교하여 실제 대안이 정말 효과가 있는 지를 알아보는 방법입니다.
예로,
동일한 기간동안 웹 사이트를 방문한 사용자를 임의의 그룹으로 분류하여, 각 그룹에게 다른 웹 사이트를 보여주고 어떤 그룹이 더 성과가 좋은지 정량적으로 판단합니다.
마켓컬리 안 써본 사람 있어?
놀랍게도 접니다 🤭 오히려 좋아! 처음 서비스 경험하는 유저처럼(?) 어플을 사용할 수 있으니까 :) 처음 제품을 접하였기 때문에 초기 유입 유저 부분에서 개선할 수 있는 방안이 있을 지, 고민해보게 되었습니다.
📌 마켓컬리의 분석가라고 가정을 하고, 고객이 이탈하는 가설을 세우고 그에 대한 A/B Test를 세워보았습니다.
신규 고객이 마켓컬리의 <결제>에 도달하는 퍼널을 정의해보자면?
러프하게 처음 유입된 고객이 마켓컬리의 핵심 마켓컬리의 목표인 '결제' 까지의 여정을 5단계로 나누어 보았습니다.
🙋🏻♂️ 유입> 상품탐색 > 장바구니> 회원가입 > 주문하기
- 유입 : 광고, 친구 추천 등으로 마켓컬리에 처음 유입함
- 상품 탐색 : 마음에 드는 상품이 있는 지 탐색함
- 장바구니 : 마음에 드는 상품들을 장바구니에 넣음
- 회원가입 : 장바구니에서 상품 주문을 클릭하면 최초 유입 유저들은 회원가입 창으로 전환됨
- 결제 : 결제 진행
저는 마켓컬리를 사용해본 경험이 없기 때문에 위와 같은 고객 여정을 따라 진행해보았습니다. 그에 따라 2단계인 상품 탐색부터 4단계의 회원가입까지 전환율을 높일 수 있는 실험을 두가지 고민해보게 되었습니다.
전환율을 높이기 위한 A/B Test를 설정해볼 수 있을 까?
1) 2단계 상품탐색 👉🏻 3단계 장바구니 전환율
🙋🏻♂️ 상황 ) 마음에 드는 상품을 찾았습니다! 👏🏻
다른 사람들의 후기를 보고 구매를 결정하려고 합니다. 하지만, 한 눈에 들어오는 것은 단어처럼 짧게 제공되고 있습니다. 클릭해서 본다 하더라도 어떤 내용이 부정적인지, 긍정적인지 쉽게 알기가 힘듭니다. 부정적이게 평가했다면 그 이유를 알 고 싶은데, 페이지 스크롤 하기가 어렵네요. 긍정/부정적인 후기를 남긴 사람들을 따로 모아볼 수는 없을까요?
▷ 가설 : 고객들이 제품 후기에 대한 정보를 얻기에 용이하지가 않음.
: 후기의 좋음/싫음 여부를 볼 수 있어, 리뷰를 쉽게 확인할 수 있다면 상품을 장바구니에 담는 전환율이 높아 지지 않을 까?
- 긍정/ 부정 키워드를 한 눈에 볼 수 있게 👍🏻 👎🏻 추가
- 필터: 긍정/부정에 후기에 쉽게 접근하여 정보 얻을 수 있도록 기능 추가
왼쪽 (대조군) : 현재 화면
오른쪽 (실험군) : 필터링 기능 추가한 화면
- 핵심 지표 설정 : 장바구니 전환율 상승
- 보조 지표 : 후기 페이지 접속 이후 필터링 클릭율 , 후기글 클릭 수 분포 대비 장바구니 클릭 수, 후기 클릭 증가율
- 실험/통제 집단 : 사용자 무작위 선정
(단, 기존 사용자/새로운 유입자의 비율을 고르게 선별)- 독립 변수 : 긍정/부정 필터링 기능 여부
- 종속 변수 : 후기 클릭률, 장바구니 클릭율, 후기 페이지 체류 시간 등
- 통제 변수 : 고객 등급별/기간별 동일한 쿠폰, 신규 유저에게 제공되는 동일한 쿠폰 등, 기간(외부 요인)
- 기간 : 한달
후기글을 많이 보게 되는 것이 상품에 관심이 있어서 하는 행동으로 생각이 되는데, 실제로 많이 보게 되면 장바구니 전환율이 높아질까?
- 굳이 필터 기능을 사용하지 않고도, 페이지를 넘기며 좋아요/싫어요를 보며 후기 글을 선택해서 볼 수 있다고 판단하여, 후기 페이지에 접속하여 후기글을 클릭한 증가율을 확인하고자 함.
- 다만, 필터 기능을 추가하였기 때문에 실험 집단에서 필터 기능을 제대로 활용하는 지에 대한 지표는 확인해봐야 합니다. -> 필터 기능이 정말로 고객이 원하는 기능이였는지.
- 통제집단과 실험집단에서 후기를 열어보는 횟수의 차이가 확연한지?
- 실험집단에서 후기글을 보고 장바구니에 넣는 비율과 통제집단에서 좋아요/싫어요가 없는 후기를 본 사람들의 장바구니 전환율과 비교하기.
가설 설정하면서 추가로 생각한 부분?
1-0) 해당 기능에 대한 생각
사실 부정적인 후기를 쉽게 접근 할 수 있게 제공해준다는 것 자체가, 고객이 어쩌면 제품에 대한 반감이 높아질 수도 있을 것이라고 생각하였습니다. 마켓컬리의 경우 가장 먼저 보이는 후기들은 긍정적인 부분이 많아 일부로 해당 기능을 추가하지 않았을 수도 있다고 느꼈습니다. 하지만, 직관에 의해서가 아닌 데이터를 보고 의사결정을 하는 것이 중요하다 판단하여 해당 A/B Test가 필요하다고 사고하였습니다.
또한,
새로운 기능을 추가하는 작업이기 때문에 리소스가 어느정도 소요되어, 그냥 배포하는 방법도 생각할 수 있지만, 고객 경험에 직접적으로 영향을 미치는 기능의 배포이므로 A/B Test를 거치는 것이 좋다고 생각합니다.
1-1) 기존 후기들
좋음/나쁨/ 기능은 후기를 등록할시에 새롭게 고객들이 선택하는 것이므로, 기존에는 없던 새로운 기능을 추가하는 것입니다.
따라서, 기존에 등록한 후기들은 좋고 나쁨을 후기에서 선택하지 않았으므로, 기존 후기들에 대해서는 후기 키워드 분석을 통해 긍정/부정어를 나누어 세팅해주어 좋음/나쁨에 필터를 잡아주는 것이 가능하지는 않을 까 생각하였습니다.
1-2) 해당 기능(좋음/싫음)의 추가 활용도
마켓컬리의 상품이 점차 많아지고 있습니다. 카테고리에서 비슷한/같은 상품에 부정적인 의견을 달아주신 고객들에게 서로 좋아했던 상품을 추천해 줄 수 있는 발판이 되어 추천시스템에 정보를 다양하게 활용할 수 있지 않을까 싶습니다.
1-3) 설계한 A/B Test의 문제점
영향을 미칠 수 있는 변수가 하나라고 단정 지을 수 없습니다...🥲 -> 통제 변수 관리 실패로 이어질 수 있습니다 !
기존 화면에서, 2가지가 다릅니다.
- 좋음/ 싫음 표기
- 필터링 기능 추가
따라서, 좀 더 명확하게 테스트를 하고자 한다면,
- 기존 화면 vs 좋음/싫음 표시
- 좋음/싫음 표시 vs 필터링 기능 추가
으로 1 테스트를 진행 후, 만족할 만한 결과를 얻는다면 2 테스트를 진행하여 -> 두번 테스트를 진행하는 방법도 있을 것 같습니다.
2) 3단계 장바구니 👉🏻 4단계 회원가입 전환율
🤷🏻♀️ 상황 ) 드디어 장바구니에 넣고 결제 눌렀습니다! 💸
첫 구매라서 회원가입을 해야합니다! 빨리 결제하고 싶은데... 생각보다 써야하는 부분이 많네요? 음음,, 괜히 부담감을 느끼고 살짝 귀찮기도 합니다... 이번달 돈을 좀 많이 쓴 것 같기도 하고...!
▷ 가설 : 회원 가입시 심리적 장벽을 낮춘다면 회원가입률을 높일 수 있지 않을까?
현재, 마켓컬리의 회원가입 창은 한 화면에 모든 내용을 입력하라고 나와있습니다. 고객에게는 심리적으로 압박이 있을 수 있습니다. 한 화면에 한 질문 마다 해당 값을 입력하게 하여 회원가입의 과정이 어렵게 느껴지지 않도록 개선안을 생각하였습니다.
- 단계별 회원가입으로 한 화면에 한 개의 정보만 입력 가능하게 진행
- 이메일을 입력하세요.
- 비밀번호를 입력하세요.
- 이름/생일/성별을 입력하세요.
- 주소를 입력하세요.
- 휴대폰 번호를 입력하세요.
왼쪽 (대조군) : 현재 화면 (한번에 회원가입)
오른쪽 (실험군) : 단계별 회원가입 화면
- 핵심 지표 설정 : 가입 완료율
- 보조 지표 : 회원가입 클릭 후, 회원가입 완료율
- 실험/통제 집단 : 신규 유입자 무작위 선정
(사용자 분산 방식)- 독립 변수 : 회원가입 단계 분할 화면
- 종속 변수 : 회원가입 완료율, 회원가입에 걸리는 시간 등
- 통제 변수 : 기간/ 신규 고객 동일한 쿠폰 제공, 이벤트, 기간(외부요인)
- 기간 : 한달
또 추가로 생각한 부분이 있는지?
1-0) 기존 로그인
마켓컬리는 간편 소셜 회원가입을 제공하지 않고 자체적으로 고객의 정보를 수집하고 있습니다.
간편 소셜 로그인을 제공하게 되면 굉장히 빠른 시간 내에 가입 절차를 마무리 할 수 있게 됩니다. 물론, 소셜에서 기본 정보 제공 동의를 누르지 않은 고객의 정보는 한정되게 얻기도 합니다.
로그인 이후, 추가 정보 입력시 쿠폰 제공 등의 이벤트 팝업 창을 띄워 추가 정보를 얻는 방법이나, 처음 주문 시 주소, 이름, 나이 등의 개인정보를 처음 쓰는 부분의 팝업을 띄우는 방안도 고민해보며 추가 정보를 얻을 수 있을 수도 있어 해당 방법도 고민하게 만들었습니다.
충성 고객이 튼튼한 마켓컬리
어, 몰랐어? 사실 마켓컬리는 충성고객이 엄청*100 탄탄해
그, 그럼 나는 필요없어...?
신규 고객도 매우 중요하지만(매우!), 재구매율을 높여 충성 고객을 늘리는 것이 회사에서는 장기적으로 더 중요하게 다루고 있는 부분이라고 생각합니다.
마켓컬리는 결과물(기사)를 통해 충성도 있는 고객을 구축하기 위해 꾸준히 고민하고, 실험을 하고 있다고 생각합니다.
아쉬운점//
해당 테스트를 설계한 것은 처음 사용하는 입장에서 바라본 눈이여서 가설에 대한 제한적인 테스트 방법들을 고민하게 된 것이 아닌가 싶습니다.
저 또한 마켓컬리의 충성 고객으로 제품을 충분히 사용해 본 후에 A/B Test를 설정하게 된다면
[기존 고객 -> 충성 고객]으로 재구매율을 높일 수 있는 다른 방안도 고민해 볼 수 있을 것 같아서 현재로써는 아쉬움이 있습니다.
추후, 충성 고객이 된 후에 (+ 실제 업무를 진행해본 분석가가 된 후에) 제가 제안했던 가설을 다시 들여다보고 (미흡하고 틀린 부분이 있어 > 굉장히 수치스러울 것 같지만), 추가로 다른 재구매율을 높일 수 있는 가설을 설정하여 다시 고민해보기로 하고 이만 마무리를 하겠습니다 : )
양승화님 - 그로스해킹 책
핵클 커뮤니티
