[ A/B 테스트에서 의미있는 효과 기준 (MDE)을 설정하는 방법 ]
A/B 테스트를 진행하기 전에 설정해야 하는 파라미터 중에 가장 어려운 파라미터를 효과적으로 설정하는 방법을 소개합니다.
[ 요약 ]
MDE (Minimum Detectable Effect) 란?
MDE는 특정 확률로 탐지해야 하는 최소 효과 “크기”입니다.
- A/B 테스트를 진행하며 얻어야 하는 sample size를 결정하기 위해서, MDE는 반드시 계산되어야 합니다.
- Effect size가 MDE보다 작다면, A/B 테스트는 유의미한 결과를 만들어 낼 수 없습니다.
MDE를 통한 리스크 및 비용 조절
- overpowered test : MDE를 너무 낮게 설정하는 경우, 우리는 실험에 쓰이는 돈과 시간이라는 비용을 낭비할 수 있습니다.
- underpowered test : MDE를 너무 높게 설정하는 경우, 테스트는 실제로 긍정적인 효과를 나타냈다고 하더라도 유의미한 결론을 내기는 어려울 가능성이 매우 높습니다.
MDE는 실험을 위한 기능의 구현을 정당화할 수 있는 가장 작은 효과여야만 합니다. 물론 실험을 통해 더 많은 것을 배우기 위해 overpowered test를 만들 수도 있지만 이에 따르는 위험과 기회비용도 같이 고려해야 합니다.
많은 A/B 테스트에서 파라미터는 실무상에서 표준으로 쓰이는 값들로 결정됩니다.
- 유의수준 (Significance level) : 95%
- 검정력 (power) : 80%
아쉽게도 MDE는 표준이 없기 때문에, 각각의 테스트에 대해 계산되어야 합니다.
가능하면 비즈니스의 상황을 고려하여 먼저 MDE를 결정한 후, 샘플 크기와 실험의 기간을 MDE에 맞추어 설정하는 것이 권장됩니다.
[ 인사이트 ]
종종 타이트한 일정에 맞춰 실험을 설계하고 분석하기를 요구하고, 이는 잘못된 의사결정을 야기할 수 있습니다.
모든 팀원이 파라미터와 설정 방법을 이해하는 것이 중요하다라는 말이 기억에 남았는데, 개인적으로는 실험 결과 "분석"보다 실험 "설계"가 더 중요하다는 메시지로 느껴졌습니다.
원본 블로그 : https://playinpap.github.io/abtest-setting-mde/#underpowered-test
