Mobile Games A/B Testing - Cookie Cats

step0. About Dataset

Context

This dataset includes A/B test results of Cookie Cats to examine what happens when the first gate in the game was moved from level 30 to level 40. When a player installed the game, he or she was randomly assigned to either gate_30 or gate_40.

Content

The data we have is from 90,189 players that installed the game while the AB-test was running. The variables are:

userid: A unique number that identifies each player.
version: Whether the player was put in the control group (gate_30 - a gate at level 30) or the group with the moved gate (gate_40 - a gate at level 40).
sum_gamerounds: the number of game rounds played by the player during the first 14 days after install.
retention_1: Did the player come back and play 1 day after installing?
retention_7: Did the player come back and play 7 days after installing?

When a player installed the game, he or she was randomly assigned to either.

Acknowledgements

This dataset is taken from DataCamp
Cookie Cat is a hugely popular mobile puzzle game developed by Tactile Entertainment

Thanks to them for this dataset! 😻

출처 keggle link

step1. Requirements

1. 기본적인 EDA와 전처리를 진행하세요
2. t-test를 이용하여 gate_30 그룹과 gate_40 그룹의 플레이 라운드 수의 평균이 같은지, 다른지 검정하세요.
3. chi_squre test를 이용하여 version과 retention_1이 서로 독립인지 검정하세요.
4. chi_squre test를 이용하여 version과 retention_2이 서로 독립인지 검정하세요.
5. 검정 결과를 해석하고, AB 테스트의 결론을 내려보세요.

step2. Hypothesis

1. 게임 100판 이상 1,7일 이후 접속한 사용자를 분석하면 유료 사용자를 분석할수 있다.

step3. data preprocessing (EDA)

1. True, False 를 0,1 로 변경하기

2. 데이터 기본 분석

3. 게임 100판이상 & 1,7일 이후 접속

4. 게임 100판이상 & 1일 이후 접속 데이터 분석 시각화

---	---

5. 게임 100판이상 & 7일 이후 접속 데이터 분석 시각화

---	---

step4. t_test

1. 기본 분석

2. 게임 100판이상 & 1일 이후 접속 데이터 분석

sum_gamerounds p-value: 0.74, 등분산 가정 만족
retention_7 p-value: 0.918, 등분산 가정 만족
p-value: [0.35351324 0.45917492]
귀무 가설 기각: [False False]

3. 게임 100판이상 & 1일 이후 접속 데이터 분석

sum_gamerounds p-value: 0.402, 등분산 가정 만족
retention_1 p-value: 0.569, 등분산 가정 만족
p-value: [0.14447666 0.28470088]
귀무 가설 기각: [False False]

step5. chi_squre test

1. 기본 분석

2. 게임 100판이상 & 1일 이후 접속 데이터 분석

version, retention_7 chi-square test
p_value : 0.935, False, chi2_statistics : 0.007, dof

3. 게임 100판이상 & 1일 이후 접속 데이터 분석

version, retention_1 chi-square test
p_value : 0.594, False, chi2_statistics : 0.284, dof

step6. data visualization

1. 그룹별 게임수 boxplot

2. between variance stripplot

3. post-hoc TUKEY

step7. data analysis result

step3-3 분석 결과에 따르면, 30판의 무료 제공을 받은 사용자 중에서는 100판 이상의 게임을 하는 유료 사용자(100판 이상 게임을 한다면 유료사용자라고 가정함)들이 더 많은 것으로 나타났습니다. 이는 30판의 무료 제공이 매출 증가에 도움이 될 수 있다는 가능성을 시사합니다.

따라서, 해당 결과를 고려하여 30판의 무료 제공을 통해 유료 사용자들의 게임 플레이량을 늘릴 수 있는 전략을 고려할 수 있습니다. 이를 통해 매출을 증가시키고 사용자들의 만족도와 충성도를 향상시킬 수 있을 것으로 기대됩니다. 그러나 이는 분석 결과를 기반으로 한 가설이므로, 실제 시행 전에 추가적인 검증과 실험이 필요합니다.