[주니어_Amplitude]_3_A/B테스트, 코호트분석, 유저별 행동분석을 통한 실험가설 & 솔루션

Hyejin Beck·2023년 12월 14일
0

Amplitude

목록 보기
6/11

요청1.

Media Streaming 서비스에서 전체 활성 사용자 중
Add Friends , Download Song or Video , Follow Playlist를 한 유저의 퍼센티지를 Segmentation 차트로 각각 구해주세요.

시도1

Event :Purchase Song or Video (Any Active Event할경우 모두 100%로 나옴)

Chart : Segmentation

Active Users :

  • who performed Add Friends
  • who performed Download Song or Video
  • who performed Follow Playlist


Media Streaming 서비스에서 전체 '활성' 사용자 중에서
음악/비디오를 구매한 Add Friends , Download Song or Video , Follow Playlist를 한 유저의 퍼센티지는 각각 99.4% , 89.8% , 71.9% 입니다.
Add Friends를 한 유저의 구매확률이 더 큽니다.

시도2
이번에는 전체활성유저 대비

  • 'Add Friends를 한 유저' 비율,
  • 'Download Song or Video를 한 유저' 비율,
  • 'Follow Playlist를 한 유저' 비율
    이렇게 각각 구해보겠습니다.

[결과]
전체활성유저 대비 Add friends를 한 유저의 비율은 적지만,
구매하는 유저 대비로서는 제일 높게 나옵니다.

요청2.

개선이 필요한 액션(이벤트)를 정하고, 실제 이 액션을 개선시키는 것이 구매 전환율에 있어서 얼마나 큰 도움이 되는지 코호트 생성 또는 User Property-who performed를 이용해서 구해주세요.

시도1

Chart : Funnel

Any Users :

  • who performed Add Friends
  • who performed Download Song or Video
  • who performed Follow Playlist


[결과]
연두색(Download Song or Video) 유저에 한하여 Favorite Song or Video --> Purchase Song or Video 퍼널 구간의 이탈율이 가장 높아, 개선이 필요한 구간으로 보여집니다.
여기에서도 Add Friends를 한 유저의 전체퍼널율(도달율)이 가장 높습니다.

전체 플로우

위 두 차트를 이용해서 문제, 가설, 솔루션 작성 순서입니다.

1. 문제정의
2. 왜 이 문제를 해결 또는 개선해야하는지 차트 기반 설명 
3. 실험 가설과 목표 
   예시) 비고객 대상 홈 화면에서 상품을 더 찹기 쉽게 만든다면, 구매 전환율이 약 5% 증가할 것이다
4. 솔루션 
   예시) 가상의 서비스를 상상하여 솔루션 구상
5. 실험 방식 
   예시) 일괄 즉시 적용할건지, 순차 적용 할 것인지, A/B테스트 적용 여부 등 
6. 유저 스토리 
   해당 실험이 적용된 유저의 구매 플로우 작성 

1. 문제정의

Add Friends, Download Song or Video, Follow Playlist 를 각각 이벤트로 지정하여 Active%로 전체대비비율을 확인합니다.



uniques(사용자 수)active%(전체 대비 비율) 로 추산하였을 때,
Add Friends(친구추가) 유저의 수와 전체 대비 비율이 매우 낮습니다.

회사 입장에서, Add Friends(친구추가)가 구매시키는데 중요한 이벤트라는 가정하에서
친구추가 이벤트를 늘림으로서, 전체구매율을 높일수 있을지 생각해봐야 할 것 같습니다.

코호트 저장

친구추가하는 유저가 늘어난다면, 구매하는 유저도 많아지지 않을까요?
우선 위의 이벤트별 유저를 코호트로 바로 저장해주기 위해 bar chart 에서 Create Cohort 해줍니다.

2. 왜 이 문제를 개선해야하는지

최종목표(구매율 증가)에 대해 Add friends의 행동 개선이 영향을 미칠 지 차트 기반 설명

이제 위의 3가지 (친구추가 / 다운로드 / 팔로우) 를 각각의 코호트로 저장하여, 각 이벤트를 한 유저별로 얼마나 구매하는지 확인하겠습니다.

Action : Any Active Event -> Purchase Song or Video 설정해주었습니다.

구매까지 1day를 했을 때, Add Friends 이벤트를 한 유저들이 다른 유저에 비해 구매완료 도달율이 제일 높습니다.

구매까지 7day로 했을 때에도 Add Friends 이벤트 (위의 푸른색 bar) 를 한 유저들이 많습니다.

Add Friends 를 한 유저 = 구매하는데 충성고객 일까요?
더 알아봐야겠습니다.

Add Friends 이벤트와 다른 이벤트의 구매전환율을 다양하게 더 비교해보겠습니다.

추가 비교 이벤트 : View ad 광고를 본 유저 , Play from Recommendation 추천리스트에서 플레이를 한 유저

역시나 Add Friends를 한 유저가 다른 이벤트를 한 유저에 비해,
구매까지의 도달율이 매우 높습니다.

Any Event -> Purchase Song or Video 퍼널만 비교했는데, 중간에 다른 이벤트도 한 번 추가해보겠습니다.

역시나 Add Friends를 한 유저 (푸른색 bar)가 심지어 재구매율도 높습니다! 재구매율 무려 98.4% 입니다!

Add Friends (친구추가)를 한 사용자의 비율이 상대적으로 낮은것과는 달리,
구매 전환율과 재구매율이 다른 액션에 비해 매우 높습니다.

구매함에 있어서, 친구추가는 긍정적인 영향을 준다고 볼 수 있습니다.
친구추가를 한 사용자가 많아지면 구매하는 유저도 많아질 것 같습니다.

구매율 낮은 이벤트의 개선구간?

여기서 잠깐!

구매율이 높은 Add Friends이벤트 유저가 아닌, 구매율이 낮은 View Ad 이벤트 유저에 초점을 두고
해당 유저들의 구매율을 높이려면 어떻게 해야할까? 생각해볼 수도 있습니다.



구매율이 낮은 View Ad 이벤트를 한 유저들은
Play from Recommendation 추천음악을 듣는 과정에서 이탈률이 높습니다.

Play From Recommendation 에 대해서 좀 더 개선해야 할 필요성이 있을 것 같습니다.
우선 다시 Add Friends 이벤트를 한 유저로 넘어가보겠습니다.

3. 실험 가설과 목표

Add Friends (친구추가)를 하도록 유도하면,
전체 사용자의 구매 전환율이 약 5% 증가할 것이라는 가설을/목표를 세우겠습니다.

4. 솔루션 구상 (가설검증)

차트등을 보며 이러한 플로우를 거치는게 좋을 것 같다 계획을 세웁니다.

어떤 event를 추가 (어떤 퍼널구간을 개선) 해야 Add Friends 이벤트 유저를 늘릴수 있을까요?

  • Edit Profile (프로필 꾸미기)
  • Join Community (커뮤니티 가입)
  • Share Song or Video (음악/비디오 공유하기)

세 이벤트가 Add Friends 이벤트와 Purchase Song or Video 이벤트에 미치는 영향을 확인해보겠습니다.


친구추가를 한 유저들이 세 이벤트 중, Edit Profile을 많이 하는 경향이 있습니다.



구매를 한 번이라도 한 유저 중, 음악/비디오를 친구에게 공유를 많이 했습니다.

그렇다면 Share Song or Video 친구에게 공유하라고 제안을 많이 한다면, 친구추가 및 구매하는 유저수가 더 많아질 것 같습니다.

5. 실험 방식

사용자의 경험을 크게 해치지 않을 것 같을 때에는 일괄 즉시 적용
조심스러울 땐 순차 적용
테스트 기간이 필요할 땐 a/b 테스트

Share Song or Video 친구에게 공유하라는 제안을 늘리는 행동은, 사용자의 경험을 크게 해치지 않을 것 같아 일괄 즉시 적용으로 진행해도 좋을 것 같습니다.

6. 유저 스토리

구상한 솔루션에 대해서 변경된 퍼널 등이 적용됨으로써
구매까지의 퍼널율이 얼마나 증감했는지 확인하는 단계입니다.

profile
데이터기반 스토리텔링을 통해 인사이트를 얻습니다.

0개의 댓글