이전에 프로젝트를 마무리하고 팀원들에게 피드백을 구한 적이 있는데, HTTP에 대한 지식이 많이 부족하다는 것을 알게됐다. 이때 부족한 지식을 빠르게 보완하는 데 큰 도움을 얻은 플랫폼이 인프런이다. 인프런은 양질의 콘텐츠 뿐만 아니라, 멘토링이나 질문 답변과 같은 커뮤니티도 있어서 학습 과정에서 부족한 지식을 탐색해 관리하기 유용한 서비스인 것 같다.
인프런 강의들은 유튜브 영상처럼 마냥 자유로운 공유는 아니고, 평점이나 리뷰로 콘텐츠가 평가받는다. 나의 경우도 인프런에서 강의를 고를 때 리뷰나 평점을 많이 참고하는 편인데 유저가 강의를 클릭해 상세 페이지로 넘어가기 전, 평점/리뷰/수준레벨 정보에따라 유저가 어떻게 반응하는지 궁금해졌다.
그중 로드맵 서비스에서 유저 분석을 한다면, (가상이지만) 어떤 과정으로 진행할 수 있을지에 대해 고민하고 정리했다.
로드맵은?
🔍 로드맵 페이지 : https://www.inflearn.com/roadmaps
유저의 수준, 원하는 스킬과 커리어패스에 맞는 학습을 할 수 있게끔 강의를 로드맵 형태로 제공한다.
서비스의 타겟은?
- 묶음 할인으로 결제하고 싶은 유저
- 자신에게 필요한 스킬이나 수준을 탐색해 학습하고 싶은 유저
타켓 유저가 로드맵을 통해 기대했던 학습 경험을 하기 위해선, 유저 스스로 수준을 진단하고 이를 기반으로 로드맵에서 탐색하기 수월해야한다. 현재 로드맵 페이지를 통해 유저가 탐색할 수 있는 정보는 크게 5가지였다.
- 검색 (원하는 스킬, 지식공유자명, 로드맵명 등)
- 분야 카테고리 선택 (ex. 개발 · 프로그래밍, 보안 · 네트워크, 데이터 사이언스)
- 시작 레벨 선택 (입문, 초급, 중급)
- 정렬 선택 (추천순, 학생수순, 공유순, 최신순, 오래된순)
- 콘텐츠 (로드맵명, 썸네일, 지식공유자명, 시작수준, 스킬, 강의수, 로드맵 참여자수 등)
문제 정의와 가설 수립
예를 들어 다음과 같은 문제를 정의한다고 가정하자.
문제 정의 : 로드맵 썸네일 CTR이 감소했다.
문제를 정의한 후에는 현황 파악 및 평가를 하고 원인을 분석한 다음 해결방안을 검토하는 순서로 진행한다.
- 원인 아이디어 1 : 로드맵 페이지로 유입되는 경로의 개수 (ex. 뉴스레터, 홈 배너 등등)가 줄어들었기 때문이다.
- 아이디어 부정 : 근데 유입 경로 개수의 문제가 아니라면?
- 원인 아이디어 2 : 유입 경로 개수를 늘려도 문제가 해결되지 않는다면, 유저에게 도달하지 않았을 가능성이 있는 건 아닌가? 그렇다면 유입 경로 개수는 관계가 없을지도 모른다.
- 아이디어 부정 : 유입 경로 개수는 충분하며, 퍼널별 전환율을 살펴보았을 때 유저에게 잘 도달하고 있다고 가정하고. 그럼에도 썸네일 CTR이 줄어든다면?
- 원인 아이디어 3 : 로드맵 썸네일 정보에 문제가 있나? (ex. 난이도를 가늠하기 어렵다)
가설 수립
위와 같은 과정으로 문제의 원인을 "유저가 로드맵 난이도를 파악하기 어렵다"이라고 분석했다고 하자. 이를 토대로 다음과 같은 가설을 수립해볼 수 있다.
- 현재 로드맵 썸네일 예시
가설 : 시작과 마지막 강의의 난이도 차이를 표시하면 로드맵 썸네일 클릭율(CTR)이 증가할 것이다.
하나의 로드맵은 여러 난이도의 강의들로 구성되어 있다. 로드맵 썸네일에 '시작 강의'와 '마지막 강의'의 난이도 차이를 표시한다면, 로드맵 학습 이후의 실력 변화를 유저가 가늠할 수 있어, 로드맵을 탐색 하기 수월할 것이다. (ex. 입문~중급 강의 구성, only 중급 강의 구성)
샘플 크기가 충분하다면 AB 테스트를 진행해 볼 수 있다. 로드맵 썸네일에 '난이도 차이' 정보를 추가한 후, 클릭율이 개선되는지 확인하고자 한다. 가드레일 지표로는 로드맵 수강 전환율을 정의한다. (클릭율 개선의 목적은 로드맵 강의 매출 개선이다.) 클릭율을 개선하되, 수강 전환율이 떨어지면 실험을 중단한다. 가설 검증을 위해 다음과 같은 데이터가 필요하다.
- 필요한 데이터
| Name | Description | Type |
|---|---|---|
| user_id | 유저 아이디 | uuid |
| event_type | search_click, field_click, level_click, sort_click, thumbnail_click, roadmap_start 등 사용자 행동 | string |
| event_value | 검색했다면 키워드, 분야를 선택했다면 분야 키워드 | string |
| created_at | 해당 이벤트가 찍힌 날짜와 시간 | datetime |
| roadmap_id | 로드맵 콘텐츠 아이디 | integer |
- 데이터 예시
| user_id | event_type | event_value | created_at | roadmap_id |
|---|---|---|---|---|
| 224566 | field_click | 데이터 사이언스 | 2023-02-16 15:20 | NULL |
| 224566 | sort_click | 학생수 순 | 2023-02-16 15:29 | NULL |
| 224566 | search_click | 카일 스쿨 | 2023-02-16 16:30 | NULL |
| 224566 | search_click | 데이터 분석 | 2023-02-16 16:31 | NULL |
| 224566 | thumbnail_click | NULL | 2023-02-16 16:45 | 21 |
| 224566 | roadmap_start | NULL | 2023-02-16 17:25 | 21 |
마무리하며
'로드맵 클릭율 감소' 상황을 가정하여 원인을 분석하고 해결 방안으로 실험 가설을 도출해보았다. 최근에 <데이터 문해력> 책을 다시 읽으면서 배운 내용들을 적용하려 노력해봤으나.. 문제 정의부터 원인을 분석하는 과정에서 여전히 설득력이 부족한 것 같다. 서비스의 유저 분석 사례를 더 찾아보며 공부해야겠다.
참고한 서적
- 카시와기 요시키 지음 / <데이터 문해력> / 강모희 옮김
