[아티클 스터디] A/B 테스트 제대로 이해하기: ③
[아티클 스터디] A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석
1. 아티클 요약 및 주요 내용
- 요약 : A/B 테스트 해석은 툴, 코드, 웹사이트 등을 활용해서 가능하다.
- 주요 포인트
- A/B 테스트 툴을 활용해서 세팅과 해석할 수 있으며,
이 외에도 코드를 SPSS나 Python을 통해 코드를 짜서 할 수도 있다.
또한, AB Testguide와 같은 웹사이트(https://abtestguide.com/calc/)를 통해서도 가능하다.
- Test Data - 각 그룹의 표본 크기와 그룹별 최종 전환 숫자
- Settings-Hypthesis - 단측 검정과 양측 검정을 확인하기 위한 세팅
- Settings-Confidence - 신뢰 수준 세팅(보통 95%로도 충분)
- 결과를 보고 단순히 큰 차이가 없다고 생각할 것이 아닌 ‘왜 이러한 차이가 났는가?’에 대한 추가적인 고민 필요
2. 핵심 개념 및 용어 정리
- 핵심개념 : 단측 검정일 때의 결과와 양측 검정일 때의 결과는 다를 수 있다.
유의미한 결과를 얻기 위해서 단측 검정과 양측 검정을 모두 실시하고 유의미한 값을 찾아볼 수 있고,
만약 둘다 유의미한 결과가 없다면 ‘왜 이러한 차이가 났는가?’에 대한 추가적인 고민 필요하다.
- 용어정리
- 양측 검정 : 두 비교군의 차이는 있지만 어느 쪽이 우세인지 모를 경우 진행
특히, 보수적이고 안정적인 결과를 얻기 위해서 주로 사용한다.
- 단측 검정 : 한 쪽이 명확히 우세할 것이라 가정할 경우 진행
- p-value : 0.05이하일 경우 유의미한 결과로 볼 수 있다.
