TIL
- A/B test
- Margin of Error
1. A/B test를 사용할 수 있는 경우
- 명확한 통제 그룹과 실험 그룹이 존재
- 새로운 경험에 대한 저항이 예상되거나, 기존의 것에 대한 가치절상이 예상되는 경우 A/B test는 '시간'을 다뤄야 하는 문제가 된다.
- 일반적으로 사이트의 사용성을 측정하고 싶을 때는 비율(rate)을 사용하고, 전체 영향을 측정하고 싶을 때는 확률(probability)을 사용한다.
- 예를 들어 버튼 위치를 바꿨을 때 사람들이 그 버튼을 얼마나 눌렀는지 측정하고 싶다면 비율을 사용한다.
- 반면에, 사용자가 퍼널의 두 번째 단계로 진행하는지 여부를 알고 싶다면 확률을 사용한다.
2. 오차허용 범위(margin of error)
- MOE는 z-score * se로 계산됨
- z-score는 평균이 0이고 표준편차가 1인 정규분포 곡선에서 도출할 수 있음. 통상적으로 95% 신뢰구간을 설정하면, z-score는 +-1.96이 도출됨
- 표준오차는 p값, 즉 성공가능성의 크기에 의해 좌우됨. 0.5보다 작아지거나 커지면 표본 오차가 작아지고, 신뢰구간이 좁아짐. 0.5일 때 불확실성이 가장 크다는 의미
- 오차허용 범위는 정규분포상에서 설정한 신뢰구간 범위(+-1.96)를 se로 scaling한 것이라고 이해할 수 있음
- 해당 오차허용 범위로 신뢰구간을 설정함
[참고자료]
-