A/B 테스트 결과 분석이란?
A/B 테스트 결과 분석은 과학이 아닌 예술이다.
가설을 잘 세워야 배우는 것이 있다.
- 한기용 강사님 야후 때의 일화 : 검색 결과 요약을 바꾸는 A/B 테스트를 수행
- 검색결과 요약을 잘 만들면 클릭이 더 많이 생길까?
결과 분석은 객관적이고 공개 되어야한다.
- AB 테스트 실험을 제안한 사람이 분석하는 것은 좋지 않다.
- 자신이 제안한 것이기 때문에 주관적일 수 있다.
- 다양한 사람들이 모인 자리에서 결과를 분석하고 여러 의견을 듣는 것이 좋다.
- 이를 통해 경험 많은 사람들의 분석 방법을 다른 이들도 배울 수 있다.
- 유데미 때의 방식
- A/B 테스트 주간 미팅. 시니어 데이터 분석가들이 돌아가며 수행 (No라는 말을 잘 할 수 있어야 됨)
- 처음 40분은 기존 테스트들 중 결과가 보이는 것들을 리뷰 (p-value가 유의미한 것들)
- 마지막 20분은 새로운 A/B 테스트 제안들을 리뷰하고 스케줄
Outlier가 A/B 테스트에 미치는 영향
- 어느 서비스나 매출 등에 있어 큰 손들이 존재한다.
- 이런 큰 손들이 어느 버킷에 들어가느냐가 분석에 큰 영향을 끼친다.
- 그렇기 때문에 사용자 평균 사용금액 대비 n배의 매출을 내는 고객의 경우 분석에서 배제를 해야 된다.
- 데이터 스크래핑을 하는 봇 유저(Scraper bot)가 한쪽으로 몰리는 경우가 있다.
- session/impression등에 큰 영향을 줄 수 있다.
- 대략 40%의 트래픽까지는 봇 트래픽일 수 있기 때문에 결과물만 체크하기 보다는
실제 유저와 봇 유저를 파악할 수 있게 데이터를 까보는 것도 필요하다.
항상 A/B 테스트 결과는 다양한 관점에서 바라봐야 된다.
잘못된 가설
중요하지 않은 지표를 설정하는 경우가 있다.
이러한 경우 일을 진행할 수 록 잘못된 방향으로 가는 경우가 허다하기 때문에
중간 중간 이게 맞는 가설인지 한번 더 생각해야 된다.
- 성공실패의 기준으로 더 중요한 지표가 있는지 고민을 하는 경우.
잘못된 가설의 예시)
고객센터에 전화를 하지 않는 사람은 행복한 사용자
전화를 하는 사람들의 경우 불만을 가지고 있는 사용자들이기에 이 불만을 해소할 방법을 찾자
실제로는
구독 서비스의 경우 고객센터에 전화를 하는 사람들의 경우 이탈률이 평균보다 높을까?
그렇지 않았다.
서비스에 애정이 있기에 고객센터에 연락을 주지,
애정없이 서비스를 그만 두는 사람들이 고객센터에 연락을 주지 않았다.
그렇기 때문에 가설 설정은 아래와 같이 진행했어야 되었다.
올바른 가설의 예시)
고객센터에 연락없이 이탈을 하는 고객들의 원인 분석.
AB 테스트 분석 시각화 대시보드 요구 조건
AB 테스트별로 다음 분석이 가능해야 된다.
- AB테스트 전체 기간에 걸쳐 키 지표가 비교 가능해야 한다.
- 일별로 키 지표의 비교가 가능해야 한다.
- 키 지표의 경우 통계적으로 유의미한지 무의미한지 표시가 되어야 한다.(Color coding)
- 트래픽(사용자) 메타 데이터가 있다면 이를 바탕으로 필터링이 가능해야 한다.
- 성별
- 나이
- 지역
- 신규 사용자 vs 기존 사용자
- 등 등
LV. 1