24편. 실험 초반 데이터를 믿지 마라 — 초두효과와 신기효과

들어가며

A/B 테스트 시작 후 3일째:

"B안 전환율이 20% 떨어졌어! 실패야!"

잠깐. 이건 진짜 실패가 아니라 초두효과 때문일 수 있습니다.

반대로:

"B안 전환율이 30% 올랐어! 대성공!"

이것도 신기효과 때문에 일시적으로 부풀려진 것일 수 있어요.

초두효과 (Primacy Effect)

사용자가 기존 방식에 익숙해서, 새로운 변화에 적응하는 데 시간이 걸리는 현상

• 예: 검색 버튼이 하단에서 상단으로 이동 → 처음엔 "어? 어디 갔지?" → 이용률 일시 하락
• 시간이 지나면 적응하면서 회복

신기효과 (Novelty Effect)

새로운 기능이 신기해서 일시적으로 높은 관심을 보이는 현상

• 예: 새 UI가 적용됨 → "오, 뭔가 바뀌었네?" → 호기심으로 클릭 증가
• 시간이 지나면 흥미가 감소하면서 원래 수준으로 복귀

두 효과가 만드는 함정

초반 데이터만 보고 판단하면 잘못된 결론을 내릴 수 있습니다!

방지법

1. 기존 유저와 신규 유저를 분리 분석 — 초두효과가 기존 유저에게만 나타나는지 확인
2. 최소 1~2주 이상 테스트 기간 확보 — 초기 반응을 넘어 장기 트렌드 관찰
3. 실험군과 대조군의 변화 추이를 시계열로 비교 — 특정 시점 이후 안정화되는지 확인

다음 편 예고

드디어 마지막 편입니다!

A/B 테스트가 끝나면 정말 끝일까요? 진짜 중요한 건 실험 이후입니다.