23. Uber 실험이 실패한 이유 — Confounding Factor

23편. Uber 실험이 실패한 이유 — Confounding Factor

들어가며

A/B 테스트를 완벽하게 설계했다고 생각했는데, 결과가 이상하게 나온다면?

예상치 못한 변수가 결과를 왜곡하고 있을 수 있습니다.

이것을 Confounding Factor(혼란 요인) 라고 합니다.

Uber의 실제 사례

Uber는 이런 가설을 세웠습니다:

"택시 요금을 낮추면 → 기사 수입이 줄어들 것이다"

직관적으로 당연한 것 같죠?

실제 결과: 요금을 낮추자 기사 수입이 오히려 증가했습니다.

왜? 요금이 낮아지니까 택시 수요가 폭증했거든요. 건당 수입은 줄었지만 건수가 크게 늘어서 총 수입은 올라간 겁니다.

여기서 "택시 수요 증가"가 Confounding Factor입니다. 실험 설계 시 이 변수를 고려하지 못했던 거죠.

Confounding Factor 방지법

1. 랜덤화 그룹 분배

• 실험 참가자를 무작위로 배정해서 혼란 요인의 영향을 분산

2. 층화 랜덤화

• 연령대별, OS별, 지역별로 그룹을 나눈 후 무작위 배정
• A/B 그룹의 구성이 균등해지도록 보장

3. 사전 분석

• 실험 전에 "어떤 변수가 결과에 영향을 줄 수 있는가?" 리스트업
• 예: 신규 vs 기존 고객, iOS vs Android, 시간대별 사용 패턴 등

다음 편 예고

마지막 함정! 실험 초반 데이터를 무조건 믿으면 안 되는 이유를 알아봅니다.