[데이터 분석][캐글] Cookie cats(퍼즐 게임)의 A/B 테스트 분석과 운영전략 제안

들어가는 말

Tactile Games 게임사에서 만든 퍼즐게임인 Cookie Cats. 구글 플레이 스토어에서 2016년에 출시되어 약 100만회 이상 다운로드 된 모바일 게임이다. 3단 타일을 맞추는 캐주얼 게임으로 캐글에 A/B 테스트를 위한 데이터가 공개되어있다. A/B 테스트는 모바일 게임뿐 아니라, 다양한 분야에서 활용되는 테스트 중 하나이다. 해당 게임의 리텐션 개선을 위한 데이터 분석과 A/B 테스트 결과를 살펴보자.

프로젝트 개요

데이터 출처: Kaggle

• 카이제곱 검정을 통한 A/B 테스트 결과 분석
• 데이터셋의 EDA를 통한 원인분석
• Cookie Cats의 시급성에 따른 운영전략 제안

목차

1. 데이터 전처리: 어떤 유저에게 집중해야 할까?
2. 카이제곱검정: 게이트가 유저의 리텐션에 영향을 미치는가?
3. 문제설정: Cookie Cats 유저는 언제 이탈하는가?
4. 시급성에 따른 운영전략
5. 마치며

1. 데이터 전처리

1-1. sum_gamerounds 컬럼의 이상치 제거

• 지나치게 sum_gamerounds가 많은 데이터 Drop.
• 게임을 직접해본 결과, 1 라운드당 평균 약 3분 정도 소요된다.
• 하루 24시간, 14일동안 게임한다고 해도 약 8천 라운드까지만 진행가능하다.
• 즉, 약 50,000 그라운드까지 게임 진행은 정상 범주를 넘어섰다고 판단.
• 1건 Drop.

• IQR = Q3 - Q1
  상한선 = Q3 + 1.5 * IQR
  하한선 = 최소 1라운드 이상

1-2. sum_gamerounds가 0인 유저 Drop

• sum_gamerounds = 0은 게임을 전혀 경험하지 않은 유저.
• 설치 후 게임을 전혀 경험하지 않은 유저.
• 해당 유저는 게이트 변경에 대한 리텐션 A/B 테스트와 무관한 데이터라고 판단.
• 3,994건 Drop

df_cat[df_cat['sum_gamerounds'] == 0].shape[0]

1-3. sum_gamerounds 임계값 이하 user_id Drop

• gate_30, gate_40 유저들 중 해당 라운드까지 플레이하지 않은 경우
  • ex. gata_30인 유저는 30라운드에 게이트(허들)을 만나는데, 그 전에 플레이를 종료
• 1-2 사례와 동일한 이유로 Drop
• '게이트가 유저 리텐션에 영향을 미치는가?'를 위한 A/B 테스트와 무관한 데이터라고 판단.
• gata_30 유저 중 sum_gamerounds가 30 미만인 16,655건 Drop.
• gata_40 유저 중 sum_gamerounds가 40 미만인 13,827건 Drop.

2. 카이제곱검정(Chi-Squared Test)

2-1. 버전과 리텐션

카이제곱검정을 통해 version(gate_30, gate_40)과 retention_1, retention_7의 독립성 유무 판단.

2-1-1. version과 retention_1

• $H_0$ (귀무가설): version과 retention_1은 독립이다.
• $H_1$ (대립가설): version과 retention_1은 독립이 아니다.(=종속)
• 유의수준 0.05
• version과 retention_1과의 카이제곱 검정 결과
  

2-1-2. version과 retention_7

• $H_0$ (귀무가설): version과 retention_7은 독립이다.
• $H_1$ (대립가설): version과 retention_7은 독립이 아니다.(=종속)
• 유의수준 0.05
• version과 retention_7과의 카이제곱 검정 결과
  

통계적으로 확인해본 결과, version에 따른 retention은 모두 종속적이라는 결과가 나왔다. 즉, gate이 유저의 retention에 영향을 미친다는 것이다.

2-2. 결과 시각화

그렇다면 어느정도 영향력이 있는지 시각화하여 구체적인 수치를 확인하는 것이 필요하다고 생각했다.

• retention_1은 gate_40일때가 약 3% 높다.
• retention_7은 gate_40일때가 약 4% 높다.

2-3. 결과해석: cookie cats와 일반적인 캐주얼 게임의 특징?

통계적/시각적 검정 결과를 바탕으로 결론 짓자면, 'gate를 40으로 변경한다.'는 결론이 나올 수 있다. 하지만, 게임 내에서 gate는 단순히 유저의 게임 진행을 방해하는 목적으로 존재하는 것이 아니다. 회사의 수익과 직결되는 부분이기도 하다. 따라서 조금 더 세부적인 분석이 필요하다고 판단했다.

2-3-1. gate_30 유저의 리텐션이 낮은 이유는 단순히 '게이트 위치'가 아니다.
현재는 gate_40으로 고정된 상황이라, gate_30일때와 상황이 다를 수 있다. 하지만 조건이 크게 다르지 않다면, 추가결제 없이 플레이 간 획득한 보상으로 첫 번째 게이트를 통과할 수 있다.

2-3-2. 게이트가 존재한다고해서 게임 플레이가 불가능한 것이 아니다.
약 1일정도 기다리면 해당 게이트가 열리고, 이전에 지나온 게임을 다시 플레이 할 수 있다. 물론 연속 플레이를 원하거나, 새로운 플레이를 원하는 유저의 니즈와 상충되기 때문에 retention이 떨어지는 것이라고 판단할 수 있다.

하지만 핵심은 '흥미도'를 유지하여 오랜기간 유저를 Lock-in하는 것이다. '흥미도'가 충분하다면 유저는 결제 / 대기를 선택하기 때문이다.

유저가 게임 10여회를 더 한다고(gate를 30에서 40으로 변경)해서 30회 플레이할 때 생기지 않던 흥미가 생기지는 않을 것이다.

조금 더 근본적인 이유를 탐구 할 필요가 있다.

3. 문제설정:Cookie Cats 유저는 언제 이탈하는가?

3-1. 현재 집중해야할 유저는 누구인가?

3-1-1. 리텐션 그룹별 유저 비율

• 이탈을 확인하기에 앞서, 유저 그룹은 총 4개로 구분.
• 전체 유저의 약 절반(49.37%)은 첫날 이후 바로 이탈.
• 첫날 이후 어느 정도 관심을 유지한 유저(1일T 7일F)가 31.20%.
• 7일차까지 유지된 충성도 높은 유저(1일T 7일T)는 15.29%.
• 이탈 후 복귀한 유저(1일F 7일T)는 4.15%로 소수.

3-1-2. 리텐션 비교(Cookie Cats VS 타 게임 평균)

모바일 게임(장르: 퍼즐) 평균 리텐션
당일 이탈: 60~70%
1일 리텐션: 31.85%
7일 리텐션: 12.18%

Cookie Cats 평균 리텐션
당일 이탈: 49.37% (↓↓)
1일 리텐션: 31.20% (↑)
7일 리텐션: 15.29% (↑)

• Cookie Cats는 타 캐주얼 게임의 평균보다는 리텐션 지표가 좋다.
• 날짜가 지날수록 리텐션이 떨어지는 것은 일반적인 현상으로 보인다.
• 80.57%라는 대부분의 유저가 설치 당일 ~ 설치 +7일이내에 이탈.

3-2. 특정 유저 그룹의 이탈 라운드수 추정

그렇다면 설치 초반에 이탈하는 약 80%의 유저들은 어느정도 게임 후 이탈할까? 정말 이 유저들은 gate때문에 이탈하는 것일까? 아니면 다른 이유가 있을까?

• 아래 2개 그룹의 이탈 sum_gamerounds를 시각화.
• 1일 not 리텐션 & 7일 not 리텐션 유저.(= 당일 플레이 후 이탈 유저)
• 1일 리텐션 & 7일 not 리텐션 유저.

• 압도적으로 높은 비율로 7~12라운드에 많은 유저 이탈 발생.
• 13라운드를 기점으로 감소율이 1/2로 줄지만, 27라운드까지 유저 이탈율이 하락없이 상승.
• 절반 이상인 58.84% 유저는 첫 게이트를 만나기도 전에 이탈
• 유저 이탈 유저 증가 구간과이탈 유저 하락 구간이 반복되는 추이를 바탕으로 추론하자면, 동일한 게임 패턴을 10~15라운드 반복하는 것이 오히려 유저 이탈에 영향을 미치는 것으로 판단.

4. 시급성에 따른 운영전략

4-1. 1순위: 초반 게임 듀토리얼 보강을 통한 FTUE(최초 사용자 경험) 개선

4-1-1. 게임 초반 이탈 유저(80.57%)

• 설치 당일 ~ 7일 이내에 이탈하는 80.57%의 유저.
• 해당 유저의 58.74%는 첫 게이트 이전에 이탈.
• 이를 위한 초반 게임 듀토리얼 강화로 유저 Lock-in이 필요하다고 생각.

4-1-2. 당일 플레이 후, 이탈 유저

• 유저들 중 당일에만 플레이하고 이탈하는 유저 약 50%.
• 해당 유저들의 약 89%가 첫 게이트(30 라운드)를 만나지 않고 이탈.
• 결국 유저의 이탈은 gate의 위치가 아닌, FTUE라고 판단.

4-1-3. 해결책

• 직접 경험해보니, 1 라운드 당 약 3분의 시간이 소요된다고 할 때, 동일한 패턴의 게임을 30분 이상 진행하면 흥미가 떨어지는 것은 어쩌면 당연하다고 생각. (3.에서 살펴본바와 같이 10~15 게임 라운드에 따라 이탈율 상승/하락이 반복)
  
  
• 예시1) '특별쿠키' 3개 이상 연결 시, 전체 쿠키 삭제하는 방식 안내
• 예시2) 메인 게임 라운드와 별개로 다양한 챌린지(바닥 쿠키 제거, 불독의 공격 등)

∴ 게임을 다양하게 즐길 수 있는 방법(예시1)과 챌린지(예시2)를 개발하고 주기를 짧게하여 배치하는 것이 필요.

4-2. 2순위: CPI광고비 전략적 활용: 7일 리텐션 유저

• '1일 not 리텐션 & 7일 리텐션 유저'
• 해당 유저 그룹은 '1일 리텐션 & 7일 not 리텐션 유저'보다 인원수는 적지만, 전반적인 게임수가 높은 것을 확인.
• 해당 유저들은 비교적 장기 유저로 전환 가능성이 높은 유저 그룹
• 중위값이 gate 30, 40을 모두 지난 유저 그룹
• App push 등의 리텐션 혜택을 제공한다면 유저 Lock-in이 가능하다고 판단.

* 비용 확보 방안
이때의 비용은 '설치 후 미진행' 고객 확보를 위한 CPI 광고비를 일부 할당하면 추가 비용없이 지표 개선이 가능할 것으로 예상된다. (업계 평균 CPI광고비: 건당 3~6천 원)

• 해당 유저 그룹은 게임을 전혀 진행하지 않고 설치만한 유저와 비슷한 인원수.
• 설치수 또한 중요한 지표이지만, 활성 이용자수(MAU)가 더 중요한 시점이라면, 해당 비용을 통한 충성고객을 확보하는 것 또한 좋은 전략이 될 것이라고 판단.

5. 마치며

이상치를 제거하는 부분부터 데이터를 분석하는 과정까지 멈칫하며 고민했던 시간이 많았다. 하지만 고민의 시간이 많았던 만큼, 다음 분석에서는 조금 더 수월해질 것이라고 믿는다!! (분석하다가 막힐 때 Cookie Cats 게임을 플레이해봤는데, 생각보다 재밌었다.)