[인과추론] 02. 무작위 실험 RCT

무작위 배정으로 독립성 확보

연관관계는 ATT와 편향의 합으로 설명할 수 있다.

따라서 편향이 0이면, 연관관계는 오롯이 인과관계라고 볼 수 있다. 즉, 실험군과 대조군에서 처치 외의 나머지 조건이 동일하다면 연관관계는 인과관계가 된다. 적어도 실험군과 대조군의 잠재적 결과에 대한 기댓값이 같다는 걸 말한다.

이때 처치와 결과 사이의 독립성을 얘기하는 게 아니라, 잠재적 결과가 처치와 독립적이라는 점이 중요하다. 즉, 실험 대상이 처치를 받았더라면 관측되었을 결과가 실제로 처치 받았을지 여부와는 무관하다는 뜻이다.

독립성 가정 → 실험군과 대조군이 비교 가능하다.

$(Y_0, Y_1) \perp T$ 는 실험군과 대조군의 결과 차이를 유발한 요인이 바로 처치라는 걸 의미한다.

$E[Y_0|T=0] = E[Y_0|T=1] = E[Y_0]$

위 식처럼, 독립성 가정을 만족하면 실험군과 대조군의 평균을 비교하여 간단히 ATE를 구할 수 있다.

$E[Y_1|T=1] - E[Y_1|T=0] = E[Y_1-Y_0] = ATE$

그럼 어떻게 독립적인 상태로 만들 것인가?

처치 T를 무작위로 배정하면 실험군과 대조군이 비교 가능해지는 그럴듯한 상황을 만들어볼 수 있다. 처치는 피험자의 10-1% 이하에게만 배정해도 된다. 중요한 건 처치 배정 매커니즘이 무작위여야 한다는 것! 무작위로 처치를 배정하면 실험군과 대조군의 기댓값은 거의 비교 가능해진다. 두 그룹 간의 유일한 차이는 처치밖에 없으므로, 두 그룹의 결과 차이는 해당 처치에 따른 것으로 볼 수 있다. 이렇듯 기본적으로 랜덤화는 처치와 잠재적 결과를 독립적으로 만든다. '무작위 통제 실험(RCT, Randomized control trial)'를 활용할 수 있다.

AB 테스트 사례

이메일을 받은 고객이 얼마나 많이 전환(Conversion)되는가?

단순히 생각해보면 $E[Conversion|Email=1] > E[Conversion | Email = 0]$ 이런 결과가 나올 가능성이 크다. 즉, 이메일을 받은 고객이 더 많이 전환됐다고 할 수 있다. 그러나 모종의 이유로 애초에 전환 가능성이 높다고 생각한 고객한테만 이메일을 보냈을 수도 있다.

$E[Conversion_0|Email=1] > E[Conversion_0 | Email = 0]$

위 식을 보면, 실제로 이메일을 받은 고객은 설령 이메일을 받지 않았더라도 다른 고객보다 더 많이 전환될 수 있다는 것이다. 따라서 편향 때문에 단순한 비교로는 이메일의 실제 인과효과를 추정할 수 없다.

이 문제를 해결하기 위해서는 이메일을 받은 고객과 받지 않은 고객을 비교 가능하도록, 즉 $E[Y_0|T=1] = E[Y0|T=0]$ ($(Y_0, Y_1) \perp T$)으로 만들어야 한다. 이메일을 무작위로 보내면 비교 가능한 상황을 만들 수 있다. 이렇게 하면 이메일을 받은 고객과 받지 않은 고객의 전환율은 평균적으로 동일해진다.

무작위 배정이 잘 됐는지 확인하기 위해서 실험군과 대조군이 처치 받기 전에 동일한지 확인해본다. 성별, 나이 등의 특성이 그 그룹 간에 균형을 이루는지 확인해보는 것이다.

두 그룹이 비슷한지 평가하는 방법은 정규화 차이를 계산하면 된다.

$\frac{\hat{\mu_{tr}}- \hat{\mu_{co}}}{\sqrt{\hat{\sigma_{tr}^2} + \hat{\sigma_{co}^2}/2}}$

통계적 유의성 파악

RCT는 인과관계를 식별할 때 유용하나, 이러한 효과가 우연에 따른 것이 아니라고 확신할 만한지, 통계적으로 유의한지 검정하는 과정이 필요하다. 추정에 대한 불학실성을 나타내기 위해 표준오차를 계산하여 신뢰구간을 구하거나 가설검정을 진행한다. 귀무가설은 $H_0 : Conversion_{no \ email} = Conversion_{short \ email}$ 로 설정하고 t검정을 진행하면 된다.

실험 설계 관점에서 적절한 표본 크기를 결정하고자 할 때, $SE_\triangle = \sqrt{SE_1^2 + SE_2^2}$ 에서 실험군과 대조군의 분산이 같다고 가정할 수 있으니, $SE_\triangle = \sqrt{2SE^2} = \sqrt{2\sigma^2/n} = \sigma\sqrt{2/n}$ 으로 적절한 n을 계산할 수 있다. 80%의 검정력과 95%의 신뢰도를 원할 때 표본 크기는 $n = 2*2.8^2\sigma^2$ 이다.