2편. 상관관계 ≠ 인과관계 — A/B 테스트가 필요한 진짜 이유

📌 A/B 테스트 완전 정복 시리즈 | 2편 / 25편
Part 1. 입문 — "왜 해야 하는가"

들어가며

"데이터를 보면 답이 보인다"는 말, 반은 맞고 반은 틀립니다.

데이터를 보면 관계는 보이지만, 원인까지 보이는 건 아니거든요.

이번 편에서는 A/B 테스트가 왜 필요한지, 그 근본적인 이유를 알아봅니다.

상관관계 vs 인과관계

먼저 간단한 퀴즈입니다:

"아이스크림 판매량이 늘면, 익사 사고도 늘어난다."

그렇다면 아이스크림이 익사의 원인일까요?

당연히 아니죠. 둘 다 여름이라는 공통 원인 때문에 함께 증가한 것뿐입니다.

이것이 상관관계와 인과관계의 차이입니다:

핵심은 이겁니다:

인과관계가 있으면 상관관계도 있다. 하지만 상관관계가 있다고 인과관계인 건 아니다.

그래서 왜 A/B 테스트가 필요한가?

배달 앱의 장바구니 페이지를 개편한다고 해볼게요.

"A안은 3월 전반에, B안은 3월 후반에 적용해서 비교하자!"

언뜻 괜찮아 보이지만, 이 실험에는 치명적인 문제가 있습니다:

1. 시간 차이: 3월 초와 3월 말의 소비 패턴이 다를 수 있음 (월급날 효과 등)
2. 계절성: 동일한 조건이라 보기 어려움
3. 샘플 통제 불가: A안을 본 고객과 B안을 본 고객이 근본적으로 다른 집단일 수 있음

결국, B안의 전환율이 높게 나와도 "B안이 좋아서"인지 "타이밍이 좋아서"인지 구분할 수 없습니다.

이런 상황에서 인과관계를 밝혀내는 유일한 방법이 A/B 테스트입니다.

A/B 테스트는 같은 시기에, 같은 조건에서, 무작위로 나눈 두 그룹에게 서로 다른 버전을 보여줍니다.
이렇게 해야 "차이가 정말 B안 때문인가?"를 확인할 수 있는 거죠.

한 줄 정리

A/B 테스트의 목적은 인과관계를 검증하는 것이다.
단순한 데이터 비교(상관관계)로는 "진짜 원인"을 알 수 없기 때문에, 통제된 실험이 필요하다.

다음 편 예고

자, 그렇다면 실제로 기업들은 A/B 테스트를 어떻게 활용하고 있을까요?

다음 편에서는 Netflix, Amazon, Airbnb의 실전 A/B 테스트 사례를 살펴봅니다.