A/B 테스트란?
사실 A/B 테스트가 뭔지 잘 모름..
그래서 위키독스를 읽고왔음!
A/B 테스트란?
간단하게 말하자면, A랑 B 중에 뭐가 더 선호되는지 보는 거(두 개 이상도 가능함)
내용정리
어라 그게 아니었어요...?
.
A/B 테스트는 단순히 A안과 B안 중에 뭐가 더 효과적인가?에서 그치지 않음
사실은 더 복잡하다~
사실 우리는..
- A/B 결과 차이가 크길/확실하길 바람
- 실험 설정이 공정하길 바람
- 결과가 이례적이거나 우연이 아니길 바람
이런 것들을 A/B 테스트에서 원하고 있었음
.
이런 기저에 깔린 목적을 위해서라면
- 트래픽을 절반으로 나누는 거
- 변수를 하나만 두는 거
- 더 나은 결과만 선택해서 배포하는 거
요런 것들을 하면 안된다~~
.
그래서 A/B 테스트를 할 땐 어떤 질문을 던져야 하느냐?
단순히 A, B 중에 어떤 게 효과가 좋을까? --- 이거 하지마라
대신
어떤 게 확실하게 효과가 좋은가?
이게 A, B 차이로 생긴 결과가 맞나?
우연이 아니고 일관성 있게 이 결과가 나오나?
이런 질문들을 던져야 한다~
- 요약
A/B 테스트는 단순히 두 가지 선택지에서 더 선호되는 거 채택하고 끝인 시험 방법이 아님. 사실은 선택지가 두개 이상일 수 있고, 단순히 더 선호되는 걸 채택하는 것이 아닌 결과가 좀 더 확실하고, 공정하고, 우연이 아니길 바람. 이런 진짜 목적을 위해서라면 트래픽을 절반으로 나누는 것, 하나의 변수만 두는 것, 좋은 결과만 배포하는 것 등은 하면 안됨.
- 주요내용
A/B 테스트란 무엇인지 왜 시행하며 진짜 목적은 무엇인지 설명함. 그리고 진짜 목적을 위해서 피해야할 행동 몇가지도 알려줌.
- 핵심개념
A/B 테스트
- 용어정리
A/B 테스트: 두 가지 이상의 시안 중 최적안을 선정하기 위해 시험하는 방법 (출처: 위키독스)
아티클 스터디
인사이트 : A/B 테스트는 단순히 두 가지를 비교하는 시험 방법이 아니며, 더 좋은 결과를 위해선 트래픽을 단순히 절반으로 나누거나, 변수를 하나만 두거나, 더 나은 결과만 선택 배포하는 일은 지양되어야 한다.
아티클 추천 사유 : A/B 테스트의 의미와 목적을 알 수 있었고, 피해야 할 행동까지 짚고 넘어갈 수 있어서 유익했음.
실무 적용 사례 및 가상 시나리오 :
RCT(무작위 대조 시험, randomized controlled trial)
참가자를 두 개 이상의 치료 그룹 중 하나에 무작위로 할당하는 의료 실험의 한 유형이다. 한 그룹에는 실험적 치료('중재'라고도 함)가 제공된다. 다른 하나는 중재가 주어지지 않는 '대조' 그룹이다. RCT는 이상적인 조건에서 실험적 치료법이 얼마나 효과적이고 안전한지 테스트한다.
출처
