13편. 클릭했다 vs 안 했다 — 카이제곱 검정으로 비교하기

📌 A/B 테스트 완전 정복 시리즈 | 13편 / 25편
Part 5. 검정 도구 — "어떻게 검증할 것인가"

들어가며

t-검정은 매출, 체류시간 같은 숫자(연속형)를 비교할 때 씁니다.

그런데 A/B 테스트에서는 이런 질문도 많죠:

"A그룹과 B그룹의 클릭률에 차이가 있는가?"
"구매 전환율이 다른가?"

클릭/미클릭, 구매/미구매 — 이런 범주형 데이터를 비교할 때는 카이제곱 검정(Chi-Square Test) 을 사용합니다.

언제 뭘 쓰는가?

카이제곱 검정의 원리

A/B 테스트 예시:

단계별 과정:

1. 기대값 계산: "만약 차이가 없다면 각 칸에 몇 명이 있어야 하는가?"

   • A그룹 기대 구매자 수 = (510 × 320) ÷ 1030 ≈ 158.4명

2. 카이제곱 통계량 계산: 실제값과 기대값의 차이를 수치화

   • χ² = Σ (관측값 - 기대값)² ÷ 기대값

3. 자유도 계산: (행 수 - 1) × (열 수 - 1) = 1

4. p-value 확인: χ²값과 자유도로 p-value 도출

결과 해석

• p-value < 0.05 → A그룹과 B그룹의 전환율 차이가 통계적으로 유의미!
• p-value ≥ 0.05 → 차이가 우연일 가능성이 큼

한 줄 정리

숫자 비교 = t-검정, Yes/No 비교 = 카이제곱 검정. 이 구분만 기억하면 됩니다.

다음 편 예고

마지막 검정 도구! 신뢰구간을 배우면 검정 도구 파트가 완성됩니다.