10편. 효과 없는데 있다고? 있는데 없다고? — Type 1 & Type 2 Error

📌 A/B 테스트 완전 정복 시리즈 | 10편 / 25편
Part 4. 가설과 오류 — "무엇을 검증할 것인가"

들어가며

A/B 테스트에서 내리는 판단은 크게 4가지 경우가 있습니다:

Type 1 Error (제1종 오류) — 거짓 양성

효과가 없는데, 있다고 잘못 판단하는 것

• 비유: 건강한 사람에게 "병이 있다"고 오진
• A/B 테스트: 새 기능이 효과 없는데 "효과 있다!"고 출시 → 자원 낭비
• 확률: α (유의 수준) 로 통제. α = 0.05면, 5% 확률로 이 실수를 할 수 있음

Type 2 Error (제2종 오류) — 거짓 음성

효과가 있는데, 없다고 잘못 판단하는 것

• 비유: 실제 환자에게 "건강하다"고 오진
• A/B 테스트: 새 기능이 정말 좋은데 "효과 없음"으로 폐기 → 기회 손실
• 확률: β 로 표현. 보통 β = 0.2 이하를 목표로 함

어떤 오류가 더 위험할까?

도메인에 따라 다릅니다:

α와 β의 트레이드오프

α를 줄이면 (더 엄격하게 판단하면) → Type 1 Error ↓ 하지만 Type 2 Error ↑

이 트레이드오프를 조절하는 핵심이 바로 검정력(Power = 1 - β) 입니다.

보통 A/B 테스트에서는:

• α = 0.05 (Type 1 Error를 5% 이하로)
• Power = 0.8 (Type 2 Error를 20% 이하로)

이 숫자들은 뒤에서 샘플 크기 계산할 때 다시 등장합니다.

다음 편 예고

자, 가설도 세웠고 오류도 이해했습니다.

이제 "실제로 어떻게 검증하는가" — 검정 도구를 배울 차례입니다.

다음 편에서는 A/B 테스트의 핵심, p-value를 완전 정복합니다.