기사 링크
주제: A/B테스트 설계시 주의할점과 필요한 지식은?
요약
A/B 테스트를 설계할 때 우리가 진짜로 궁금해하는 것.
-목표를 위해 어느 것이 더 효율적인가?
- 우리는 암묵적으로 A/B 방안의 결과가 상당히 크길 바란다.
: 도출된 결과에 큰 차이가 없다면, 이상적인 결론을 내릴 수 없기 때문이다.
- 우리는 실험의 진행이 공정하길 바란다.
: 비율로 처리할 경우 A의 결과가 더 높았지만, 데이터를 뜯어 수치로 봤을경우 B가 훨씬 수치가 높다면? 과연 A가 정말 B보다 나은 결론일까?
실험의 배경이 5:5로 동일하다고 생각하는 경향이 있다.
- 우리는 이번 실험의 결과가 이례적이거나 우연이 아니길 바란다.
: 실험의 신뢰성을 높이기 위해 같은 실험을 반복할경우, 같은 답이 나온다면 좋은 것이지만, 그 같은값의 차이가 크다면? 과연 이 실험의 결과를 믿어도 좋은가?
A/B 테스트의 진짜 질문.
:“목표를 달성하기 위한 방안으로 A안과 B안 중 어느 게 더 효과가 좋은가?”
→ “이번 며칠 동안 모은 000명~0,000명의 트래픽/고객에 대해서만 유효한 게 아니라, 앞으로도 & 해당 유형의 모든 고객에게 A안과 B안 중 어느 게 ‘확실하게’ 효과가 좋은가? 이 결과는 정말로 A와 B의 차이 덕분에 생긴 게 맞는 걸까? 그리고 이 결과는 우연이 아닌 걸까?”
진짜 질문의 답을 얻기 위한 지식.
②A/B 테스트를 위한 기초 통계 이해하기
- 모집단과 표본
: 전수조사를 할 수 없기에 표본 조사 실시.
- '일부'를 통해서 '전체'에 대해 추론할 수 있다.
: 숫자가 충분하다면 일부로 전체를 해석할 수 있다. 물론 일반화의 오류는 경계해야함.
- 귀무가설과 대립 가설, 양측 검정과 단측 검정
: 귀무가설: 차이가 없다
대립가설: 차이가 있다(내가 원하는 결과)
→ 차이에 대한 해석
단측검정: 어느 것이 더 나은 결과인지 확인
양측검정: 차이가 있긴하지만 뭐가 더 좋은지는 모름.
- 실험 결과도 결국 '추측'이다.
: 결국 결과도 추측일 뿐! 하지만 이 추측이 유효한지를 판단하는것.
이 추측을 얼마나 믿을 수 있는지를 확인하는 것이 신뢰수준!
즉, 실험 결과가 실제로 포함될 것을 예측하는 범위!
- 그래서 정말 우연이 아닌가?
: P-VALUE확인하기.
95%의 신뢰 수준은 5%의 유의수준을 의미. 즉 5%안에 드는 오차정도는 넘어간다는 의미이다.
그리고 그 확률을 P-VALUE라고 부른다. 이를 통해 유의미한지를 판단.
A/B 테스트에서 기초 통계가 중요한 이유
: 우리가 가정한 질문을 제대로 알기 위해서는 기초 통계가 무척이나 중요하다. 가설을 통한 실험은 우연히 발생할 수 밖에 없기 때문이다. 그렇기에 기초 통계를 활용해 원하는 답을 찾으려 노력해야한다.
핵심개념
A/B테스트: 분할 테스트 또는 버킷 테스트라고도 하는 A/B 테스트는 두 가지 콘텐츠를 비교하여 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인한다. 주요 측정지표를 기반으로 가장 성공적인 버전을 측정하기 위해 변형(B) 버전과 비교하여 컨트롤(A) 버전을 검증한다.
인사이트
A/B테스트를 할때, 쉽게 범하는 오류에 대해 집어주고, 이를 해결하기 위해 기초통계에 대한 지식이 중요하다고 말하고 있는 것 같다. 통계학을 깊게 들어가면 수많은 가정이 존재하고 그 가정마다 적용해야할 통계적 방법론에 다소 차이가 있다.
하지만 가장 중요한건 가설을 잘 세우고, 가설에 대한 해답의 해석을 얼마나 잘하는지가 결국 중요한것 같다.
A/B테스트 역시 비슷하다고 생각한다. 흔히 할 수 있는 착각에 빠지지 않도록 주의해야겠다.
실무적용 사례
1차 테스트 실패- 원인: 변수가 너무 많았고, 적은 모수에 너무 많은 시안을 테스트 → 새로운 가설 도출→ 재테스트
