Intro.
파워(power)란 주어진 표본수와 분산에서 실제 효과(대립가설, 예: 집단 간 평균차 Δ) 가 존재할 때 이를 통계적으로 발견(귀무가설 기각)할 확률을 의마한다. 이를 이용해 우리는 목표로 하는 효과를 위해 어느정도 규모의 대상(유저)이 필요한지를 추정해 볼 수 있다.
Type Ⅰ error (유의수준 α \alpha α
Type Ⅱ error (유의수준 β \beta β
Power(P r Pr P r 1 − β 1-\beta 1 − β
MDE (Minimum Detectable Effect) : 주어진 n n n α \alpha α 1 − β 1-\beta 1 − β
파워 분석 계산 과정.
1. 공통 전제
두 집단 A(Control), B(Treatment). n A = n n_A=n n A = n n B = r n n_B=rn n B = r n
목표효과(절대) : δ = p B − p A \delta=p_B-p_A δ = p B − p A δ = μ B − μ A \delta=\mu_B-\mu_A δ = μ B − μ A
유의수준 α \alpha α z 1 − α / 2 z_{1-\alpha/2} z 1 − α / 2 z 1 − α z_{1-\alpha} z 1 − α
검정력 (target power) 1 − β 1-\beta 1 − β z 1 − β z_{1-\beta} z 1 − β
근사 : 표본 크기가 충분히 크면 이항 → 정규근사, 평균 차이는 정규근사(또는 중식극한정리) 사용. 아주 작은 p p p
2. 이항/비율형 메트릭
2.1 검정/통계량 근사
두 표본 비율의 표본 추정치는 다음과 같이 나타낼 수 있다.
p A ^ ≈ N ( p A , p A ( 1 − p A ) n A ) , p B ^ ≈ N ( p B , p B ( 1 − p B ) n B ) \hat{p_A} \approx N(p_A,\; \frac{p_A(1-p_A)}{n_A}), \quad \hat{p_B} \approx N(p_B,\; \frac{p_B(1-p_B)}{n_B}) p A ^ ≈ N ( p A , n A p A ( 1 − p A ) ) , p B ^ ≈ N ( p B , n B p B ( 1 − p B ) ) 우리가 관심있는 통계 값은 d ^ = p ^ B − p ^ A \hat{d} = \hat{p}_B-\hat{p}_A d ^ = p ^ B − p ^ A
d ^ ∼ N ( δ , p A ( 1 − p A ) n A + p B ( 1 − p B ) n B ) \hat{d} \sim N(\delta,\; \frac{p_A(1-p_A)}{n_A} + \frac{p_B(1-p_B)}{n_B}) d ^ ∼ N ( δ , n A p A ( 1 − p A ) + n B p B ( 1 − p B ) ) 그러나 검정의 임계값(critical)은 귀무가설 H 0 : p A = p B H_0:p_A=p_B H 0 : p A = p B p p p p ˉ \bar{p} p ˉ
S E H 0 = p ˉ ( 1 − p ˉ ) ( 1 n A + 1 n B ) , p ˉ ≈ p A + p B 2 SE_{H_0}=\sqrt{\bar{p}(1-\bar{p})(\frac{1}{n_A}+\frac{1}{n_B})}, \quad \bar{p}\approx\frac{p_A+p_B}{2} S E H 0 = p ˉ ( 1 − p ˉ ) ( n A 1 + n B 1 ) , p ˉ ≈ 2 p A + p B 양측 검정에서 기각 조건: ∣ d ^ ∣ > z 1 − α / 2 ⋅ S E H 0 |\hat{d}|>z_{1-\alpha/2}\cdot SE_{H_0} ∣ d ^ ∣ > z 1 − α / 2 ⋅ S E H 0
2.2 파워(근사식) 유도
파워는 실제효과 δ \delta δ
P o w e r = P r ( d ^ > z 1 − α / 2 S E H 0 ∣ H 1 ) + P r ( d ^ < − z 1 − α / 2 S E H 0 ∣ H 1 ) Power = Pr(\hat{d} > z_{1-\alpha/2}SE_{H_0}|H_1) + Pr(\hat{d} < -z_{1-\alpha/2}SE_{H_0}|H_1) P o w e r = P r ( d ^ > z 1 − α / 2 S E H 0 ∣ H 1 ) + P r ( d ^ < − z 1 − α / 2 S E H 0 ∣ H 1 ) = Φ ( δ − z 1 − α / 2 S E H 0 S E H 1 ) + Φ ( − δ − z 1 − α / 2 S E H 0 S E H 1 ) = Φ(\frac{\delta-z_{1-\alpha/2}SE_{H_0}}{SE_{H_1}}) + Φ(\frac{-\delta-z_{1-\alpha/2}SE_{H_0}}{SE_{H_1}}) = Φ ( S E H 1 δ − z 1 − α / 2 S E H 0 ) + Φ ( S E H 1 − δ − z 1 − α / 2 S E H 0 ) (여기서 Φ Φ Φ
δ − z 1 − α / 2 S E H 0 S E H 1 ≈ z 1 − β \frac{\delta-z_{1-\alpha/2}SE_{H_0}}{SE_{H_1}} \approx z_{1-\beta} S E H 1 δ − z 1 − α / 2 S E H 0 ≈ z 1 − β 2.3 최종적인 닫힌형식
유도된 식을 δ = z 1 − α / 2 S E H 0 + z 1 − β S E H 1 \delta=z_{1-\alpha/2}SE_{H_0} + z_{1-\beta}SE_{H_1} δ = z 1 − α / 2 S E H 0 + z 1 − β S E H 1 n A = n n_A=n n A = n n B = r n n_B=rn n B = r n
n A = [ z 1 − α / 2 p ˉ ( 1 − p ˉ ) ( 1 + 1 r ) + z 1 − β p A ( 1 − p A ) + p B ( 1 − p B ) r ] 2 δ 2 n_A=\frac{[z_{1-\alpha/2}\sqrt{\bar{p}(1-\bar{p})(1+ \frac{1}{r})} + z_{1-\beta}\sqrt{p_A(1-p_A) +\frac{p_B(1-p_B)}{r}} ]^2}{\delta^2} n A = δ 2 [ z 1 − α / 2 p ˉ ( 1 − p ˉ ) ( 1 + r 1 ) + z 1 − β p A ( 1 − p A ) + r p B ( 1 − p B ) ] 2
p B = p A + δ p_B=p_A+\delta p B = p A + δ p ˉ = p A + p B 2 \bar{p}=\frac{p_A+p_B}{2} p ˉ = 2 p A + p B 단측의 경우, z 1 − α / 2 z_{1-\alpha/2} z 1 − α / 2 z 1 − α z_{1-\alpha} z 1 − α
2.4 파워 분석 계산 예시
조건 : p A = 0.05 p_A=0.05 p A = 0 . 0 5 δ = 0.005 \delta=0.005 δ = 0 . 0 0 5 p A p_A p A r = 1 r=1 r = 1 α = 0.05 \alpha=0.05 α = 0 . 0 5
p B = 0.055 p_B=0.055 p B = 0 . 0 5 5 p ˉ = 0.0525 \bar{p}=0.0525 p ˉ = 0 . 0 5 2 5 p ˉ ( 1 − p ˉ ) = 0.0525 ∗ 0.9475 = 0.04974375 \bar{p}(1-\bar{p})=0.0525 * 0.9475 = 0.04974375 p ˉ ( 1 − p ˉ ) = 0 . 0 5 2 5 ∗ 0 . 9 4 7 5 = 0 . 0 4 9 7 4 3 7 5 S 0 = 0.04974375 ∗ ( 1 + 1 ) = 0.0994875 = 0.3154163915 S_0=\sqrt{0.04974375\;*\;(1+1)}=\sqrt{0.0994875}=0.3154163915 S 0 = 0 . 0 4 9 7 4 3 7 5 ∗ ( 1 + 1 ) = 0 . 0 9 9 4 8 7 5 = 0 . 3 1 5 4 1 6 3 9 1 5 p A ( 1 − p A ) = 0.05 ∗ 0.95 = 0.0475 p_A(1-p_A)=0.05\;*\;0.95=0.0475 p A ( 1 − p A ) = 0 . 0 5 ∗ 0 . 9 5 = 0 . 0 4 7 5 p B ( 1 − p B ) = 0.055 ∗ 0.945 = 0.051975 p_B(1-p_B)=0.055\;*\;0.945=0.051975 p B ( 1 − p B ) = 0 . 0 5 5 ∗ 0 . 9 4 5 = 0 . 0 5 1 9 7 5 S 1 = 0.0475 + 0.051975 = 0.099475 = 0.3153965758 S_1=\sqrt{0.0475\;+\;0.051975}=\sqrt{0.099475}=0.3153965758 S 1 = 0 . 0 4 7 5 + 0 . 0 5 1 9 7 5 = 0 . 0 9 9 4 7 5 = 0 . 3 1 5 3 9 6 5 7 5 8 임계값: z 1 − α / 2 = 1.95996398454 z_{1-\alpha/2}=1.95996398454 z 1 − α / 2 = 1 . 9 5 9 9 6 3 9 8 4 5 4 z 1 − β = 0.84162123357 z_{1-\beta}=0.84162123357 z 1 − β = 0 . 8 4 1 6 2 1 2 3 3 5 7
분자: 1.959964 ∗ 0.3154164 + 0.8416212 ∗ 0.3153966 ≈ 0.8836492225 1.959964\;*\;0.3154164\;+\;0.8416212\;*\;0.3153966 \approx 0.8836492225 1 . 9 5 9 9 6 4 ∗ 0 . 3 1 5 4 1 6 4 + 0 . 8 4 1 6 2 1 2 ∗ 0 . 3 1 5 3 9 6 6 ≈ 0 . 8 8 3 6 4 9 2 2 2 5
제곱 후 δ 2 = 0.000025 \delta^2=0.000025 δ 2 = 0 . 0 0 0 0 2 5 n A ≈ 31 , 233.44 n_A \approx 31,233.44 n A ≈ 3 1 , 2 3 3 . 4 4
결과적으로, 그룹당 31,234명이 필요하다는 결과를 확인 할 수 있다. (단측 일시, 24,602명)
2.5 실무에서의 주의사항
매우 작은 p p p p < 0.005 ) p < 0.005) p < 0 . 0 0 5 ) n p np n p
p A p_A p A p A p_A p A n n n
3. 연속형 메트릭
3.1 모델/검정 통계
각 그룹의 샘플 평균은 다음과 같이 나타낼 수 있다.
X A ˉ ∼ N ( μ A , σ A 2 n A ) , X B ˉ ∼ N ( μ B , σ B 2 n B ) \bar{X_A} \sim N(\mu_A,\; \frac{\sigma^2_A}{n_A}), \quad \bar{X_B} \sim N(\mu_B,\; \frac{\sigma^2_B}{n_B}) X A ˉ ∼ N ( μ A , n A σ A 2 ) , X B ˉ ∼ N ( μ B , n B σ B 2 ) 우리가 관심있는 통계 값 X ˉ B − X ˉ A \bar{X}_B-\bar{X}_A X ˉ B − X ˉ A
X B ˉ − X A ˉ ∼ N ( δ , σ A 2 n A + σ B 2 n B ) \bar{X_B}-\bar{X_A} \sim N(\delta,\; \frac{\sigma^2_A}{n_A}\;+\:\frac{\sigma^2_B}{n_B}) X B ˉ − X A ˉ ∼ N ( δ , n A σ A 2 + n B σ B 2 ) 3.2 등분산의 닫힌식 유도
임계값은 z 1 − α / 2 z_{1-\alpha/2} z 1 − α / 2
P r ( X ˉ B − X ˉ A S E H 0 > z 1 − α / 2 ∣ H 1 ) ≈ 1 − β Pr(\frac{\bar{X}_B-\bar{X}_A}{SE_{H_0}} \;>\; z_{1-\alpha/2}|H_1) \approx1-\beta P r ( S E H 0 X ˉ B − X ˉ A > z 1 − α / 2 ∣ H 1 ) ≈ 1 − β 대체로 이로부터 다음 식을 얻을 수 있다.
δ = ( z 1 − α / 2 + z 1 − β ) ⋅ S E , S E = σ 2 n A + σ 2 n B \delta=(z_{1-\alpha/2}\;+\;z_{1-\beta})\cdot SE,\quad SE=\sqrt{\frac{\sigma^2}{n_A}+{\frac{\sigma^2}{n_B}}} δ = ( z 1 − α / 2 + z 1 − β ) ⋅ S E , S E = n A σ 2 + n B σ 2 균등분배인 n A = n B = n n_A=n_B=n n A = n B = n
S E = 2 σ 2 / n = σ 2 / n SE=\sqrt{2\sigma^2/n}=\sigma \sqrt{2/n} S E = 2 σ 2 / n = σ 2 / n 따라서,
n = 2 σ 2 ( z 1 − α / 2 + z 1 − β ) 2 δ 2 n=\frac{2\sigma^2(z_{1-\alpha/2}+z_{1-\beta})^2}{\delta^2} n = δ 2 2 σ 2 ( z 1 − α / 2 + z 1 − β ) 2 만약 불균등 배분인 n B = r n A n_B=rn_A n B = r n A
n A = σ 2 ( z 1 − α / 2 + z 1 − β ) 2 ( 1 + 1 / r ) δ 2 , n B = r n A n_A=\frac{\sigma^2(z_{1-\alpha/2}+z_{1-\beta})^2(1+1/r)}{\delta^2},\quad n_B=rn_A n A = δ 2 σ 2 ( z 1 − α / 2 + z 1 − β ) 2 ( 1 + 1 / r ) , n B = r n A 3.3 파워 분석 계산 예시
조건 : σ = 50 \sigma=50 σ = 5 0 δ = 3 \delta=3 δ = 3 μ A = 100 \mu_A=100 μ A = 1 0 0 r = 1 r=1 r = 1 α = 0.05 \alpha=0.05 α = 0 . 0 5
z 1 − α / 2 = 1.95996398454 z_{1-\alpha/2}=1.95996398454 z 1 − α / 2 = 1 . 9 5 9 9 6 3 9 8 4 5 4 z 1 − β = 0.84162123357 z_{1-\beta}=0.84162123357 z 1 − β = 0 . 8 4 1 6 2 1 2 3 3 5 7 z s u m 2 ≈ 7.84887973435 z_{sum}^2 \approx 7.84887973435 z s u m 2 ≈ 7 . 8 4 8 8 7 9 7 3 4 3 5 2 σ 2 = 2 ∗ 2500 = 5000 2\sigma^2=2*2500=5000 2 σ 2 = 2 ∗ 2 5 0 0 = 5 0 0 0 δ 2 = 9 \delta^2=9 δ 2 = 9 따라서, 5000 ∗ 7.84887973435 / 9 ≈ 4 , 360.4887 5000*7.84887973435\;/\;9 \approx 4,360.4887 5 0 0 0 ∗ 7 . 8 4 8 8 7 9 7 3 4 3 5 / 9 ≈ 4 , 3 6 0 . 4 8 8 7 n ≈ 4 , 361 n \approx 4,361 n ≈ 4 , 3 6 1
