이중차분법

A/B 테스트

• A/B 테스트는 두 가지 버전(A와 B)을 비교하여 어떤 것이 더 효과적인지 판단하는 실험 방법입니다. 주로 웹사이트, 앱, 마케팅 캠페인 등에서 사용됩니다.

이중차분법

• 이중차분법은 정책이나 개입의 효과를 측정하는 데 사용되는 통계적 기법입니다. 처치군(treatment group)과 대조군(control group)의 시간에 따른 변화를 비교합니다.

A/B 테스트에서의 이중차분법:

1. 기본 설정:

   • 처치군: 새로운 기능이나 디자인(B)에 노출된 그룹
   • 대조군: 기존 버전(A)을 유지하는 그룹

2. 측정:

   • 처치 전: 양 그룹의 초기 메트릭 측정
   • 처치 후: 일정 기간 후 양 그룹의 메트릭 재측정

3. 분석:

   • 각 그룹 내 변화 계산: (처치 후 - 처치 전)
   • 그룹 간 차이 계산: (처치군의 변화 - 대조군의 변화)

4. 해석:

   • 양수 결과: B 버전이 더 효과적
   • 음수 결과: A 버전이 더 효과적
   • 0에 가까운 결과: 유의미한 차이 없음

이중차분법의 장점
1. 시간에 따른 자연적 변화를 고려
2. 그룹 간 초기 차이를 통제
3. 외부 요인의 영향을 최소화

주의사항

1. 평행 추세 가정: 처치가 없었다면 두 그룹이 유사한 추세를 보였을 것이라는 가정
2. 충분한 표본 크기 확보
3. 적절한 통계적 유의성 검정 필요

이중차분법을 활용한 A/B 테스트는 단순 비교보다 더 정확한 결과를 제공할 수 있습니다. 시간에 따른 변화와 그룹 간 차이를 동시에 고려하기 때문입니다.

실제 데이터 예제

온라인 쇼핑몰에서 새로운 추천 시스템을 도입한 경우를 가정해 보겠습니다.

시나리오:

• 목표: 새로운 추천 시스템(B)이 기존 시스템(A)보다 평균 주문 금액을 증가시키는지 확인
• 기간: 4주 (2주 처치 전, 2주 처치 후)
• 샘플: 각 그룹당 1000명의 고객

데이터:

그룹	처치 전 평균 주문액	처치 후 평균 주문액
대조군(A)	$52	$55
처치군(B)	$51	$58

단계별 분석:

1. 각 그룹의 변화 계산:

   • 대조군(A) 변화: $55 - $52 = $3
   • 처치군(B) 변화: $58 - $51 = $7

2. 이중차분 계산:
   처치 효과 = (처치군 변화) - (대조군 변화)
   = $7 - $3 = $4

3. 결과 해석:
   새로운 추천 시스템(B)은 기존 시스템(A)에 비해 평균 주문 금액을 $4 증가시켰습니다.

4. 통계적 유의성 검정:
   (이 예제에서는 실제 검정을 수행하지 않았지만, 실무에서는 t-검정이나 회귀 분석 등을 통해 결과의 통계적 유의성을 확인해야 합니다.)

5. 시각화:

주문액($)
  |
60|                 B(58)
  |              /
55|  --
     A(55)
  | --      /
50| A(52) B(51)
  |
--+------------------
  처치 전    처치 후

이 그래프는 처치군(B)의 증가가 대조군(A)보다 더 급격함을 보여줍니다.

6. 추가 고려사항:
   • 평행 추세 가정: 처치 전 기간 동안 두 그룹의 추세가 유사한지 확인
   • 외부 요인: 이 기간 동안 주문 금액에 영향을 줄 수 있는 다른 요인(예: 계절성, 프로모션 등)이 없었는지 확인
   • 장기 효과: 2주 후의 결과가 지속되는지 추가 모니터링 필요

이 예제는 새로운 추천 시스템이 평균 주문 금액을 증가시키는 데 효과가 있음을 보여줍니다. 하지만 실제 비즈니스 결정을 내리기 전에는 통계적 유의성, 비용 대비 효과, 고객 만족도 등 다양한 요소를 종합적으로 고려해야 합니다.

ref: https://www.youtube.com/watch?v=K6tcSw-JCL8