오늘 할 일
- 버전비교 대시보드 만들기
- a/b테스트 확인해보기
TIL
A/B 테스트에서 모집단이 작아 p-value가 신뢰할 수 없을 정도로 작게 나오는 경우, 다음과 같은 세 가지 방법을 사용할 수 있다:
-
부트스트랩 (Bootstrap):
부트스트랩은 데이터 샘플에서 반복적으로 재샘플링하여 통계적 추정을 수행하는 방법입니다. 작은 샘플에서 모집단의 분포를 추정할 수 있으며, 신뢰 구간이나 p-value를 계산하는 데 유용합니다.
A/B 테스트에 적용할 때, 각 그룹에서 여러 번 샘플을 추출하고, 각 샘플에 대해 통계량(예: 평균, 비율 등)을 계산하여 분포를 형성합니다. 이를 통해 p-value를 추정하거나 신뢰 구간을 계산할 수 있습니다. -
코헨의 효과 크기 (Cohen's d):
코헨의 효과 크기는 두 그룹 간의 차이를 표준화하여 비교하는 방법입니다. 이는 p-value와는 달리 효과의 크기를 직접적으로 나타내므로, 작은 샘플에서도 유용하게 사용될 수 있습니다.
A/B 테스트에서 코헨의 d를 계산하여 두 그룹 간의 평균 차이를 표준편차로 나누어 효과의 크기를 평가합니다. 일반적으로 0.2는 작은 효과, 0.5는 중간 효과, 0.8은 큰 효과로 간주됩니다. -
베이지안 방법 (Bayesian Methods):
베이지안 통계는 사전 확률(prior)과 데이터를 결합하여 사후 확률(posterior)을 계산하는 방법입니다. 모집단이 작을 때도 유용하게 사용할 수 있으며, p-value 대신 확률적 해석을 제공합니다.
A/B 테스트에 적용할 때, 각 그룹의 성공 확률에 대한 사전 분포를 설정하고, 데이터를 통해 사후 분포를 업데이트합니다. 이를 통해 두 그룹 간의 차이에 대한 확률적 해석을 제공하고, 특정 효과가 있을 확률을 계산할 수 있습니다.
향후 계획
주말동안 할 일
- 피피티 정리해서 드리기
- a/b대시보드
- 비교분석 대시보드 및 피드백 컬럼 업뎃
