9편. 귀무가설 vs 대립가설 — A/B 테스트의 출발점

📌 A/B 테스트 완전 정복 시리즈 | 9편 / 25편
Part 4. 가설과 오류 — "무엇을 검증할 것인가"

들어가며

A/B 테스트를 하려면 가장 먼저 해야 할 일이 있습니다.

바로 가설을 세우는 것.

"B안이 더 좋을 거야"는 가설이 아닙니다. 통계적으로 검증 가능한 형태로 만들어야 합니다.

귀무가설과 대립가설

모든 가설 검정에는 두 가지 가설이 등장합니다:

법정에서 "유죄가 확실히 입증되지 않으면 무죄"인 것처럼, 통계에서도 "효과가 확실히 입증되지 않으면 효과 없음"으로 간주합니다.

예시:

H₀: 검색 버튼을 상단으로 옮겨도 클릭률에 차이가 없다
H₁: 검색 버튼을 상단으로 옮기면 클릭률이 올라간다

실험을 통해 H₀를 기각할 충분한 증거가 있을 때, 비로소 "효과가 있다"고 말할 수 있습니다.

양측 검정 vs 단측 검정

가설을 세울 때 방향을 정해야 합니다:

양측 검정이 더 보수적(엄격) 이기 때문에, 확실하지 않을 때는 양측 검정을 선택하는 게 안전합니다.

유의 수준 (α)

가설을 기각할 기준선입니다. 보통 α = 0.05 (5%) 를 사용합니다.

이건 "5% 이하의 확률로만 발생하는 일이라면, 우연이 아니라고 판단하겠다"는 뜻입니다.

뒤에서 p-value를 배우면, 이 유의 수준과 비교해서 가설을 기각할지 결정하게 됩니다.

다음 편 예고

그런데 가설 검정에서 판단을 잘못 내리면 어떻게 될까요?

다음 편에서는 A/B 테스트의 2가지 함정 — Type 1 Error와 Type 2 Error를 알아봅니다.