인과추론
어떤 처치가 결과 변수에 미치는 영향을 데이터로 추론하는 방법
A/B 테스트는 인과적 추론에 의존하여 시스템 또는 프로세스의 변경으로 인해 결과가 변경되었는지 여부를 결정한다. 어떤 것의 두 버전을 비교함으로써 우리는 두 버전 사이의 결과의 차이가 그들 사이의 차이에 기인한다고 추론할 수 있다. 예를 들어 웹사이트의 두 가지 버전을 테스트한 결과 버전 B가 버전 A보다 더 많은 전환을 이끌어낸다면 그 차이는 버전 B의 변경 사항 때문이라고 추론할 수 있다.
그러나 상관관계가 인과관계와 같지 않다는 점에 유의해야 한다. 두 가지가 서로 연관되어 있다고 해서(즉, 함께 발생함) 하나가 다른 하나를 유발한다는 의미는 아니다. 여기에서 인과적 추론이 필요한데, 인과적 추론을 사용하면 한 변수의 변경이 실제로 다른 변수의 변경을 초래했는지 여부를 확인할 수 있다.
1. 실험 (ex.A/B Test)
2. 실험이 아닌 관측 데이터로 추론
-
조금 더 부정확한 확률이 높은 이유는 교란 변수가 많기 때문
-
A/B Test 는 다른 변수는 동일하게 설정하고 하나의 변수만 다르게 하기 때문에 보다 정확하다.
관측실험은 서로 시간도 다르고 각각의 변수에 영향을 주는 요인이 많기 때문에 부정확하다.
우리가 A/B test를 해야하는 이유
- 대조 실험은 사실상 가장 확실한인과추론이다.
1. A/B test in Online platform
1. 신규기능 도입
- 기존의 기능 A와 신규 기능 도입된 B를 비교한다.
2. UI 변화
- 가장 많이 사용된다.
- 문구 변화, 추가된 기능, 크기 변화 등
3. 벡엔드 변화
- 추천모델 변경
2. 실험 설계
1. 무작위 추출로 할 것인가?
- 랜덤추출: 가장 대표적인 추출방법.
- 랜덤추출외의 방법으로는 계통 추출, 층화 추출등이 있다.
2. 무작위 추출 단위의 모집단을 어느 정도 대상으로 하는가?
- ex) 글로벌 서비스라면 한국 유저들로만 추출할 것 인가?
ex) app/web 중에서 web 유저들로만 추출할 것 인가?
3. 실험 규모는 어떻게 할 것인가?
- 유저당 구매액이 아닌 구매 여부(0/1)로 할 경우 실험규모를 줄일 수 있다.
- 0.01과 같은 낮은 p값 임계치를 사용하려면 실험 규모를 늘려야 한다.
➡ 통상적인 p-value는 0.05(5%)를 사용하지만 0.01로 p-value를 낮추면 실험의 규모가 늘어나게 된다.
4. 실험기간은 얼마나 할 것인가?
- 사용자 수
- 주간 효과(주중과 다른 주말)
주중에 사용자가 높은 서비스와 주말에 사용자가 높은 서비스는 차이를 둬야한다. - 계절성(공휴일)
크리스마스 시즌 같이 12월 사용자중에서도 크리스마스가 낀 주의 유저는 또 다른 속성을 나타낸다. - 초두 효과(Primary impact)
기능의 변경후 초기에 이용자수가 눈에 띄게 늘어나는 현상
최소 1주일 초두 효과가 보이면 조금 더 늘림
실험 설계 고려사항의 예
3. 결론
인과 추론과 A/B 테스트는 더 나은 결정을 내리기 위한 강력한 도구다. 원인과 결과 사이의 관계를 이해하고 통계적 방법을 사용하여 가설을 테스트함으로써 우리는 직관이나 추측이 아닌 증거에 기반한 보다 정보에 입각한 결정을 내릴 수 있다.
초보 데이터분석가(희망)