1편. A/B 테스트란? — 감이 아닌 데이터로 결정하기

📌 A/B 테스트 완전 정복 시리즈 | 1편 / 25편
Part 1. 입문 — "왜 해야 하는가"

들어가며

요즘 데이터 분석가 채용 공고를 보면, 빠지지 않는 키워드가 하나 있습니다.

바로 A/B 테스트.

그런데 막상 "A/B 테스트가 뭐야?"라고 물으면, 명확하게 설명하기 어려운 분들도 많을 거예요.

이번 편에서는 A/B 테스트의 정의를 아주 쉽게 정리해보겠습니다.

A/B 테스트란?

한 줄로 요약하면 이렇습니다:

기존 서비스(A)와 새로운 서비스(B)를 동시에 비교해서, B가 정말 더 나은지 통계적으로 확인하는 방법

핵심 키워드는 "통계적으로" 입니다.

"B가 좋아 보이는데?" 수준이 아니라, "B가 정말 좋다고 말할 수 있는 근거가 있는가?"를 따지는 거죠.

왜 "통계적으로"가 중요할까?

예를 들어볼게요.

어떤 배달 앱에서 A안과 B안을 테스트했더니, 이런 결과가 나왔습니다:

• A안: 전환율 15%
• B안: 전환율 25%

"와, B가 10%p나 높네! B로 가자!"

…라고 바로 결정해도 될까요?

아직은 모릅니다. 이유는 간단해요:

• 혹시 B안을 본 고객이 원래 구매 의향이 높은 사람들이었던 건 아닐까?
• 표본이 너무 적어서 우연히 이런 결과가 나온 건 아닐까?

이런 "우연"과 "진짜 효과"를 구분하는 게 A/B 테스트의 본질입니다.

한 줄 정리

다음 편 예고

그런데 왜 굳이 A/B 테스트를 해야 할까요? 그냥 데이터 보고 판단하면 안 될까요?

다음 편에서는 상관관계와 인과관계의 차이, 그리고 A/B 테스트가 꼭 필요한 이유를 알아보겠습니다.