이번 글에서는 치이이즈 서비스에서 유저의 핵심 경험을 정의하고,
이 경험에 도달하기 어렵게 만들었던 병목지점을 완화했던 A/B 테스트 과정을 정리해봤습니다.
치즈네컷이 왜 우리의 북극성 지표인가
유저의 행동 로그를 분석하며 특정 기능의 경험 유무가 재방문율과 강력한 상관관계를 보인다는 점을 발견했습니다. 특히 '치즈네컷' 기능은 유저 리텐션에 있어 핵심적인 역할을 하고 있었습니다.
북극성 지표(North Star Metric)란?
서비스가 제공하는 핵심 가치를 가장 잘 드러내며, 제품이 올바른 방향으로 성장하고 있는지를 판단하는 기준이 되는 단 하나의 지표입니다.
예를 들어, 페이스북의 초기 성장 단계에서 핵심 북극성 지표는 10일 안에 7명과 친구를 맺는 사용자 수로 알려져 있습니다.
우리 서비스에서, 치즈네컷을 한 번이라도 경험한 유저는 그렇지 않은 유저에 비해
재방문 비율이 2~3배 높았습니다. 시간이 지나더라도 이 격차는 유의했고요.
시간 변화에 따른 재방문률
- 1시간 이후 재방문: 미경험자(21.8%) vs 경험자(64.7%)
- 3시간 이후 재방문: 미경험자(19.4%) vs 경험자(60.7%)
- 24시간 이후 재방문: 미경험자(14.1%) vs 경험자(45.1%)
(팀원 등 관계자이거나, 비이상적으로 큰 활동량을 보이는 데이터 이상치를 제거하였습니다)
치즈네컷은 유저를 서비스에 안착시키는 북극성 지표로 설정하기에 충분한 가치를 지니고 있다고 판단하였습니다.
그러나 낮은 진입률. 혹시, 부담스럽기 때문일까?
하지만 데이터 상으로 치즈네컷의 중요성에 비해 실제 기능 진입률(확인율)은 기대보다 낮게 나타났습니다.
유저들에게 가장 중요한 가치를 제공하는 지점임에도 불구하고,
많은 유저가 입구에서 발길을 돌리고 있었습니다.
우리는 일차 원인을 CTA(Call To Action) 버튼의 라이팅에서 찾았습니다.
(참고) 서비스 플로우 상, 앨범에 입장한 유저는 버튼을 눌러 앨범 치즈네컷 페이지로 이동할 수 있습니다.
가설 설정: '만들기'라는 단어는 너무 Demanding하다.
_치즈네컷 만들기'는 유저에게 '창작'이나 '결과물 완성'이라는 과업의 부담을 준다.
당시 버튼 라이팅이었던 '치즈네컷 만들기'가 유저에게 지나치게 많은 노력을 요구하는 느낌을 준다는 가설을 세웠습니다.
에어비앤비(Airbnb)의 사례를 참고했었는데요,
'지금 예약하기(Book Now)'보다 '숙소 둘러보기'나 '예약 가능 여부 확인'처럼
유저에게 낮은 행동 강도를 요구할 때 전환율이 높아졌었다고 합니다.
'미리보기' 동사만 바꿨을 뿐인데, 결과는?
우리는 버튼 문구를 더 가볍고 탐색적인 언어로 변경하여 테스트를 진행했습니다.
- 대조군(A): '치즈네컷 만들기' (기존안)
- 실험군(B): '치즈네컷 미리보기' (심리적 허들 낮춤)
라이팅에 따른 단일가설만을 명확히 측정하기 위해,
'잠깐! 귀여운데 한 번만 보고가요'라는 툴팁은 두 쪽 모두에 위치시켰습니다.
[최종 결과] 치즈네컷 조회 전환율: A 그룹(약 7.6%) vs B 그룹(약 29.2%)
- 전환율: 약 29.2% (기존 대비 약 +21.5%p 차이)
- 통계 검정: Proportion Z-test 결과 p-value < 0.001로 통계적 유의성 확보.
'미리보기'라는 라이팅은 유저가 이 버튼을 눌렀을 때 "내가 무엇을 보게 될지"를 명확하면서도 가볍게 전달했습니다.
결과적으로 이 작은 라이팅 하나는 실제 기능 진입으로 이어지는 전환율의 비약적인 상승을 이끌어냈습니다.
(*번외) 참고로, '미리보기'라는 라이팅이 최종 전환율에도 기여할 뿐 아니라
처음 앨범 진입 후 지체 없이 치즈네컷을 보도록 유도하는 데에도 기여한 것으로 확인됩니다.
결론 및 인사이트
이번 분석과 실험을 통해 얻은 결론은 명확합니다.
- 핵심 경험의 발견: 치즈네컷은 유저 행동 변화를 동반하는 서비스의 핵심 경험이다.
- 라이팅의 중요성: 유저에게 요구하는 행동의 무게를 조절하는 것만으로도 핵심 기능으로의 진입을 크게 개선할 수 있다.
결과는 전달했고, 이번 달 이내에 '미리보기'로 통일할 예정입니다.
다만 아직도 A/B 분기를 유지 중이어서, 여러분께서 서비스에 들어오면
'치즈네컷 만들기' 내지는 '치즈네컷 미리보기' 중 하나를 보게 되실 겁니다.
https://say-cheese.me/album/entry/1f13b0b2-cbeb-6cd0-9a59-254db8d7dd3b
앨범을 만들어두었으니 참여하셔도 재밌을 것 같아요 :)
치이이즈 팀은 앞으로도 데이터를 바탕으로 유저의 심리적 허들을 낮추고,
치즈네컷과 같은 핵심 가치를 더 많은 유저가 경험할 수 있도록 서비스를 최적화해 나갈 예정입니다.
[분석 참고]
- 유저 A/B 분류는 프론트 단에서 무작위로 이루어졌습니다.
- 앨범 단위가 아닌 유저 단위로 A/B에 배치되었습니다.
- 3월 26일 이후 데이터를 이용하였습니다.
- 유저 총 251명의 데이터를 이용하였습니다(A 그룹은 131명, B 그룹은 120명으로 구성되었습니다)
- 팀원의 데이터는 제외했으며, 95%를 넘는 이상치는 제거하였습니다)
