8편. 어떻게 뽑느냐가 실험의 운명을 결정한다 — 샘플링 방법 총정리

📌 A/B 테스트 완전 정복 시리즈 | 8편 / 25편
Part 3. 실험 대상 — "누구를 대상으로 할 것인가"

들어가며

"누구를 실험 대상으로 할 것인가?"

이 질문에 답하려면 샘플링(표본 추출) 방법을 알아야 합니다.

크게 확률 표본 추출과 비확률 표본 추출로 나뉘는데, A/B 테스트에서는 확률 표본 추출이 핵심입니다.

확률 표본 추출 — A/B 테스트의 기본

모든 사용자가 동등한 확률로 실험 대상이 될 수 있는 방식입니다.

1. 단순 임의 추출 (Simple Random Sampling)

• 방법: 모집단에서 완전히 무작위로 뽑기
• 비유: 제비뽑기
• 장점: 가장 공정함
• 단점: 모집단의 특성이 골고루 반영되지 않을 수 있음

2. 층화 임의 추출 (Stratified Random Sampling)

• 방법: 모집단을 특성별로 나눈 후, 각 그룹에서 비율대로 뽑기
• 비유: 반별로 인원수 비율대로 학생 뽑기
• 장점: 모집단의 중요한 특성이 균형 있게 반영됨
• A/B 테스트에서: iOS/Android 비율, 신규/기존 유저 비율 등을 맞출 때 활용

3. 체계적 추출 (Systematic Sampling)

• 방법: 일정한 간격으로 뽑기 (예: 10번째마다)
• 비유: 출석부에서 5번 간격으로 체크
• 장점: 단순 임의 추출보다 실행이 쉬움
• 단점: 데이터에 주기적 패턴이 있으면 왜곡 가능

4. 집락 추출 (Cluster Sampling)

• 방법: 집단 단위로 묶은 뒤, 일부 집단을 통째로 선정
• 비유: 대학교 3곳 중 1곳을 뽑아서 그 대학 전체 학생 조사
• 장점: 대규모 모집단에서 효율적

비확률 표본 추출 — 참고로 알아두기

A/B 테스트보다는 설문조사나 질적 연구에서 주로 사용됩니다.

한 줄 정리

A/B 테스트에서는 확률 표본 추출, 특히 단순 임의 추출과 층화 임의 추출이 가장 많이 쓰인다.
핵심은 모든 사용자가 동등한 확률로 실험에 참여할 기회를 갖는 것.

다음 편 예고

표본을 뽑았으면, 이제 "무엇을 검증할 것인가" 를 정해야 합니다.

다음 편에서는 A/B 테스트의 시작점인 가설 검정을 알아봅니다.