A/B test
1.1. A/B 테스트란? — 감이 아닌 데이터로 결정하기
.
2.2. 상관관계 ≠ 인과관계 — A/B 테스트가 필요한 진짜 이유
.
3.3. Netflix·Amazon·Airbnb는 A/B 테스트를 이렇게 합니다
.
4.4. 실험 목표가 없으면 실험이 아니다 — OEC 공식화
단기간 측정해야! 1,2주개선 변화 차이에 민감해야!장기 목표 예측 가능해야!그래서, 성공적인 데이터 중심 조직이 되기 위해서는 전사적으로 이해관계가 충족된, 즉, 3개 자체가 전사적으로 충족된 OEC를 모두 다 공식화하는 것!이 정말 중요합니다!
5.5. 실험할 환경이 없으면 시작도 못 한다 — 인프라 투자
.
6.6. 넷플릭스도 90%는 실패한다 — 실패를 받아들이는 자세
.
7.7. 표본이 엉망이면 실험도 엉망이다 — 대표성의 중요성
.
8.8. 어떻게 뽑느냐가 실험의 운명을 결정한다 — 샘플링 방법 총정리
.
9.9. 귀무가설 vs 대립가설 — A/B 테스트의 출발점
.
10.10. 효과 없는데 있다고? 있는데 없다고? — Type 1 & Type 2 Error
.
11.11. p-value, 이것만 알면 된다 — A/B 테스트의 판단 기준
.
12.12. 두 그룹의 평균, 진짜 다른 걸까? — t-검정 완전 정복
.
13.13. 클릭했다 vs 안 했다 — 카이제곱 검정으로 비교하기
.
14.14. "대략 이 범위 안에 있을 거야" — 신뢰구간 쉽게 이해하기
이번 시간에는 타입 1 에러(제1종 오류)와 타입 2 에러(제2종 오류)에 대해 알아보겠습니다......가설 검정 과정에서 우리는 귀무가설(Null Hypothesis, H₀)을 기각하거나 채택하는 결정을 내리게 됩니다. 하지만, p-value는 완벽한 의사결정 기준이
15.15. 실험 계획서 한 장이면 충분하다 — 원페이저 작성법
AB 테스트 실험 계획 및 작성 방법실험을 계획 없이 진행하면 실험 자체가 어려울 뿐만 아니라 잘못된 의사결정을 초래할 수 있음.실험의 생태와 사이클을 확인하여 체계적으로 진행하는 것이 필수적임.원페이지어(One-pager) 작성실험의 A부터 Z까지 전체 기획서를 정리
16.16. 몇 명이나 모아야 할까? — 최소 샘플 크기 계산법
A/B 테스트 – 집단 크기 결정 및 최소 샘플 수 계산하는 방법! > 오늘은, 샘플 크기를 결정하는 방법을 알아보겠습니다! 오늘 목표는, 실험 수행 시 필요한 최소 샘플 수를 계산하는 법을 익히는 것! . . . . 1. A/B 테스트 실험을 위한 샘플 크기 결
17.17. 실전 시작! 가상 배달 앱 "샹숑배달" 소개
A/B 테스트를 설명하기 위해 예제 도메인을 활용.실험 주제 1과 실험 주제 2에 사용할 가상의 앱을 설정.예제로 ‘거친배달’이라는 배달 서비스 앱을 가정.대한민국 대표 배달 앱으로 설정.유저 수 가정:DAU (Daily Active User): 5만 명MAU (Mon
18.18. 검색 모듈 위치 실험 — 원페이저 작성하기
이 실험은 메인 홈 하단 검색 모듈의 상위 노출이 사용자 경험과 전환율에 미치는 영향을 분석하기 위해 진행됨.기존 검색 모듈은 메인 홈의 하단에 배치되어 있음.사용자의 검색 활용도가 낮으며, 검색을 이용하지 않는 비율이 약 70%에 달함.그러나 검색을 활용한 사용자의
19.19. 검색 모듈 실험 결과 — 전환율 4.3% 상승!
본 실험은 메인 홈 하단 검색 모듈 상위 노출이 사용자 행동 및 전환에 미치는 영향을 분석하는 A/B 테스트이다.실험 목표: 검색 클릭률의 2% 상승실험 기간: 2023년 1월 2일 ~ 1월 15일 (약 2주간)실험 그룹:A 그룹: 기존 방식 (하단 검색 모듈 유지)B
20.20. 리스트 기본 정렬 실험 — "판매순이 항상 최선인가?"
필터 변경 실험을 진행하며, 주요 타겟은 ‘이탈하는 고객’을 유저로 선정함.기존 정렬 방식(판매 순)이 사용자에게 최적이 아닐 가능성을 탐색.이탈율(Churn rate)이 높으며, 리스트 페이지에서 제휴점으로 넘어가는 전환율은 50% 수준으로 낮음.리스트 페이지 내에서
21.21. 리스트 정렬 실험 결과 — 별점순의 승리
실험 주제: 리스트 기본 정렬 필터 변경 실험실험 기간: 2023년 1월 16일 ~ 2월 1일실험 위치: 리스트 페이지실험 목표: 구매 전환율 4% 상승실험 집단 분배: A25, 25, 25, 25 (각 집단 25%)트래픽을 점진적으로 증가시키면서 안정성을 확보주요 측
22.22. 실험 중간에 결과를 보면 안 되는 이유 — Peeking Problem
A/B 테스트는 두 개 이상의 대안을 비교하여 더 효과적인 대안을 결정하는 통계적 실험 방법이다. 이를 통해 특정 변경 사항이 실제 성과 향상에 기여하는지 확인할 수 있다.실험 목적: 구매 전환율 4% 상승실험 기간: 2023년 1월 16일 ~ 2월 1일실험 위치: 리
23.23. Uber 실험이 실패한 이유 — Confounding Factor
사용자가 처음 경험하는 요소가 이후의 행동 및 판단에 영향을 미치는 현상.A/B 테스트에서 새로운 기능이나 디자인을 추가했을 때 초반에는 긍정적인 반응이 나타날 가능성이 큼.그러나 시간이 지나면서 사용자의 적응이 이루어지고, 처음과는 다른 반응이 나올 수 있음.새로운
24.24. 실험 초반 데이터를 믿지 마라 — 초두효과와 신기효과
사용자가 기존 서비스 방식과 기능에 익숙하기 때문에 새로운 변화에 적응하는데 시간이 걸림.예시: 검색 버튼이 기존에는 하단에 있었는데, 상단으로 이동했을 때 처음에는 사용자가 혼란을 느껴 검색 이용률이 하락할 수 있음.초기에는 부정적인 반응(이용률 감소)이 나타날 수
25.25. A/B 테스트 끝? 진짜 중요한 건 지금부터 — 후속 모니터링
A/B 테스트가 종료되었다고 실험이 끝난 것이 아님.실험 후 데이터를 지속적으로 모니터링해야 함.1\. 통찰력 확보실험 결과 분석을 통해 향후 실험 전략 및 제품 개발에 활용.실험 백로그(이전 실험의 축적된 경험)를 기반으로 발전 가능.장기적 성능 변화 파악실험 종료