CH10. 온라인 종합 대조 실험 보완 기법들
- AB 테스트 결과를 바탕으로 의사결정을 하기 위해서는 실험 결과의 일반화가 매우 중요하다.
- AB 테스트를 위한 여러 보완 기법들이 존재. 보완 기법은 AB 테스트 아이디어, 지표 설정 등에 활용된다.
1.💡모집단 추정과 실험보완 기법
- 표본 수, 무작위 실험, 교란 요인 통제, 대표성, 결과 일반화가 중요.
- AB 테스트를 위한 여러 보완 기법으로 AB 테스트 아이디어, 지표 설정 활용.
- 로그 기반 분석으로 직관 확립 후 지표 구체화, 문제 발견 및 AB 테스트 아이디어 창출 가능.
- 한계점과 대안은 오직 과거를 기반으로 미래를 유추하거나, 사용자 경험 연구로 사용자 의도 포착 가능하지만 대표성의 문제 발생 가능.
2.👨🏻🔬포커스 그룹 및 다양한 연구 방법에 대한 설명
- 포커스 그룹은 소규모 참가자들로 구성된 질적 연구 방법으로, 마케팅과 사용자 경험 연구 등에서 활용됨.
- 토론을 통해 다양한 관점과 의견을 수집하며, 녹음이나 비디오로 데이터를 수집해 인사이트를 도출함.
- 포커스 그룹의 장단점은 심층적 데이터 수집과 주관성, 일반화의 한계 등이 있음.
- 또한, 설문조사, 외부 데이터를 활용하여 목표와 상황에 맞게 적절한 연구 방법을 선택하는 것이 중요함.
3.️🎯기법의 중요성과 실험, '준'실험 설계 비교
- 대체 기법들(feat. 인과 추론을 위한 준실험 설계)은 실험 설계를 통해 효과적으로 '인과관계'를 확인하는 방법이다.
- 실험 설계는 독립변수를 조작하고 무작위 배정과 교란 요인 최소화를 통해 인과 효과를 추정한다.
- '준'실험 설계는 실험 설계와 유사하나 무작위 배정이 어려울 때 사용되며, 인과 효과 추정에 제한이 있을 수 있다.
- 인과 추론에서의 인과 효과 추정 기본 공식은 실험군 결과에서 대조군 결과를 뺀 값으로 선택 편향을 고려하여 실험 결과를 해석한다.
4.️🔬준실험 설계와 교차배치 실험, 도구변수의 중요성과 활용
- 준실험 설계의 로직은 대조군과 실험군 설정하고 인과효과 추정하는 과정이 중요하며, 교란변수를 통제해야 한다.
- 단절적 시계열과 회귀불연속 설계는 장단점이 있고, RDD는 시간에 따른 효과를, ITS는 장기 효과를 추정한다.
- 교차배치 실험 설계는 두 가지 이상의 조건을 비교하며, 알고리즘 효과 비교를 통해 사용자 반응을 측정한다.
- 도구변수를 사용하면 순수한 인과 관계를 추정할 수 있으며, 설명 변수와 종속 변수 사이의 올바른 관계를 파악할 수 있다.
데이터 분석 & 서비스 기획