Investigating a Drop in User Engagement 프로젝트
- Yammer회사의 문제상황을 파악하고, 분석
- 회사에서는 특정 구간에 사용자의 서비스 이용에 대한 분석을 진행하고 이에 따라 전략을 세움.
1. 문제 파악하기
- WAU 감소 원인 및 해결책 제시.
- engagement는 user와 product 간의 모든 interaction으로 server call을 한번이라도 실행 시킨 것으로 간주.
- 데이터 핸들링 전에 possible caues에 대한 list를 생성하여 이 가정에 대하여 테스트를 해보기.
2. 분석하기
- 신규가입자 분석
- 가입 코호트별 WAU 분석
- 디바이스별 WAU 분석
- 이메일 인게이지먼트 분석
1. 신규가입자 분석 (리텐션)
-
특정 기간 동안 활동한 사용자 수를 지표로 표현
-
growth를 확인할 수 있는 지표.
-
상용 DB에서는 전체 기간이 아닌 특정 기간을 정하여 쿼리를 작성하는 것을 추천!
-
DAU, WAU, MAU가 있음
- DAU (Daily Active User) : 일간 활성 사용자 수
- WAU (Weekly Active User) : 주간 활성 사용자 수
- MAU (Monthly Active User) : 월간 활성 사용자 수
가설
- 가설을 세우고 해결하는 것이 중요
- 가설이 없으면 중구난방으로 데이터를 건드리게 됨
- 본 프로젝트에서는 다음과 같은 이유를 감소의 원인으로 가설을 세움.
1. hoilday
2. broken feature : 서비스가 고장났을 때, 사용자 수가 감소할 수 있음. device 별로 고장 확인하는 것이 좋음
3. broken tracking code : 코드 트래킹, 서버 다운으로 log가 찾아지 않을 경우.
4. Traffic anomaties from boots: 서비스 변경(버튼의 내용 및 디자인 변경 등)으로 봇에 의한 활동이 활동 저하에 영향
5. Traffic shutdown to your site : 외부 유입(검색서비스, 서버)이 블락된 경우
6. Marketing event: 마케팅 이벤트가 일시적으로 수를 증가하나, 이후 하락. 참고로 친구로 유입된 사람이 서비스를 더 오래 쓸 확률이 높음.
7. Bad date:QA와 일반 유저간의 분리가 안되어, QA의 일반적이지 않은 활동로그가 섞임.
8. Search crawler changes: 엔진검색 변경으로 랭킹 및 노출 횟수가 감소
-
원인이 다양한 경우 (a lot of possibilities), 우선순위를 세워 가설 확인. 이때, 아래와 같은 요소들을 고려하는 것이 좋음.
- 경험 (Experience)
: 비슷한 문제 해결 경험을 가진 사람의 경우 빠르게 해결. - 의사소통 (Comunication)
: 마케팅 부서 등 모르는 부분이 있으면 물어보기. 가장 중요. 분석팀에서 모든 운영과 프로젝트를 알 수 없어 타부서와 커뮤니케이션이 중요. - 속도 (Speed)
: 전처리가 잘되어 있거나, 쿼리가 짜져 있거나 하는 경우 - 의존성 (Dependency)
: 하나 확인하고 쉽게 확인할 수 있는 것은 빠르게 확인
- 경험 (Experience)
2. 코호트 분석
- 코흐트 : 가입한 시기로 유저를 특정 기준으로 쪼갬. (서비스에 따라 가입 말고 다른 이벤트로 해도 되는 듯!)
- 가입시기로 두었을 경우, 마케팅으로 인한 유입이 효과적이었는지 확인할 수 있음.
3. 디바이스별 분석
- 모바일앱 자체 문제가 아니어도, 특정 OS에서의 모바일앱에 대한 불편 확인할 수 있다.
- 시기에 따라 업데이트를 확인하고 사용자에 어떤 버전에서 어떤 문제 때문에 사용자 경험의 질이 하락하였는지 확인.
4. 이메일 분석 (Engagement 방법 분석)
- product의 engagement가 어디서 비롯되는 지 생각해보기
- 예를 들어 듀오링고는 푸쉬 메시지를 센스있게 보내서 user engagement를 생산
- 이메일 일 경우, 링크에 문제가 있지 않을까 확인
- engagement 이벤트 이후 user engagement까지 얼마나 시간이 걸리는지 확인해보기. 이를 통해 현재 사용하고 있는 방법이 효율적인지 확인해볼 수 있음
참고
- mode - Investigating a Drop in User Engagement
: https://mode.com/sql-tutorial/a-drop-in-user-engagement - 데이터리안 - 리텐션 (4) DAU, WAU, MAU 그리고 Stickiness
: https://datarian.io/blog/stickiness - 인프런 (데이터리안)
: https://www.inflearn.com/course/lecture?courseSlug=%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D-sql-%EC%8B%A4%EC%A0%84&unitId=72151&tab=curriculum
공부에는 끝이 없다