현업에서 데이터가 있어도 결정을 내리기 어려운 상황들이 있다.
잘못된 데이터 일까, 데이터 해석의 잘못일까.
데이터 해석 오류 유형.
1) 생존자 편향의 오류
서비스 이탈 고객 막기
이탈자가 100명일 때.
a서비스 80 단기 20 장기
b서비스 20 단기 80 장기
b서비스가 좋은 서비스라 할 수 있을까?
전체 이용자를 기준 x, 이탈자 대상 잘못된 해석 발생.
전체 대상을 기준으로 잡는 것이 중요하다.
💬 범주의 문제, 사고가 어느것에 매몰되지 않아야 한다.
2) 심슨의 역설
전체 지표와 그룹을 나누는 지표의 방향성이 다르게 나타남
대상: 퍼널 전환율, 결제 전환율, 클릭률
방지: 전체 집단의 지표, 각 집단을 나누어 지표를 확인
주의: 지나치게 작게 나누는 것은 복잡도를 증가
3) 상관관계를 통한 성급한 일반화
인간은 연관성을 찾고 비슷해 보이는 패턴이 있다면 쉽게 일반화하는 경향이 있다.
예) 이벤트 페이지 조회수 지표 증감 경향-매출지표 증감 경향
조회수가 높을 수록 매출이 증가한다?
첫페이지를 이벤트 페이지로 전환하면?
전체 구매율은? 감소.
상관성은 있으나 인과성은 없는 경우 제3의 공통 원인이 존재
매력적인 이벤트(쿠폰 발급) -> 이벤트 페이지 조회수 증가 -> 매출이 증가
사람들은 이벤트 페이지를 먼저 보지 않음(쉽게 노출되지 않음)
구매 페이지에서 쿠폰 발급 배너 확인 후
쿠폰을 발급 받기 위해 이벤트 페이지 방문
인과관계를 과학적,수학적으로 증명하는 것은 어렵고 분석또한 쉽지 않다. 다만, 성급한 일반화의 오류에 빠지는 것을 지양하고, 공통 원인이 있는지 살펴봐야 할 것.
4) 목적에 맞지 않는 지표 선택
CTA 버튼 개선 프로젝트
[유저 기준 전환율]
CTA 버튼 조회 유저 수(중복 제거) 대비 CTA 버튼 클릭 유저수 (중복제거): 버튼을 보고 실제로 클릭한 유저 수
하지만 목적이 단순 조회수 증가라면? 지표를 바꿔야 함
[이벤트 기준 전환율]
CTA 버튼 조회수 대비 CTA 버튼 클릭수
데이터를 가공하는 기준과 방법, 해석하는 사람의 생각이 오류를 유발한다.
칼 세이건의 세이건 표준
"특별한 주장에는 특별한 근거가 필요하다"
특별한 주장을 연결시키기 전 충분한 근거를 확보했는지, 데이터를 잘못 해석했을 가능성은 없는지, 인지하고 노력해야 한다.
