12편. 두 그룹의 평균, 진짜 다른 걸까? — t-검정 완전 정복

📌 A/B 테스트 완전 정복 시리즈 | 12편 / 25편
Part 5. 검정 도구 — "어떻게 검증할 것인가"

들어가며

A/B 테스트에서 "A그룹 평균 20,000원, B그룹 평균 21,000원"이면 B가 더 좋은 걸까요?

단순 평균 비교만으로는 부족합니다. 왜냐하면 표본 평균은 항상 변동이 있기 때문이에요.

이때 사용하는 도구가 t-검정(t-test) 입니다.

t-검정이란?

두 집단의 평균 차이가 우연인지, 진짜 의미 있는 차이인지 판단하는 통계 기법

t-value의 직관적 이해

t-value의 공식을 말로 풀면 이렇습니다:

t-value = (두 그룹의 평균 차이) ÷ (그 차이의 불확실성)

비유하면:

• 신호(Signal): 두 그룹의 평균이 얼마나 다른가
• 노이즈(Noise): 그 차이가 얼마나 불확실한가

t-value가 크다 = 신호가 노이즈보다 크다 = 차이가 뚜렷하다

t-value만으로는 부족한 이유

같은 t-value라도 표본 수에 따라 해석이 달라집니다.

• 표본 30명으로 t = 2.5 → 꽤 의미 있음
• 표본 10,000명으로 t = 2.5 → 매우 확실함

이 차이를 보정해주는 게 자유도(df) 이고, t-value와 자유도를 조합해서 p-value가 계산됩니다.

t-검정 사용법 요약

1. 귀무가설 설정: "A와 B의 평균은 같다"
2. t-value 계산: (평균 차이) ÷ (표준 오차)
3. p-value 도출: t-value + 자유도로 계산
4. 판단: p-value < 0.05면 → 귀무가설 기각 → "차이가 유의미하다"

언제 t-검정을 쓰는가?

비교하려는 값이 숫자(연속형 변수)일 때!

예: 매출, 체류 시간, 주문 금액, ARPU 등

만약 비교하려는 값이 "클릭했다/안 했다" 같은 범주형 데이터라면? → 다음 편에서 배울 카이제곱 검정을 사용합니다.

다음 편 예고

A/B 테스트에서 비교하는 값이 항상 숫자인 건 아닙니다.

"클릭/미클릭", "구매/미구매" 같은 데이터는 어떻게 비교할까요?

다음 편에서는 카이제곱 검정을 알아봅니다.