원문 보기: https://yozm.wishket.com/magazine/detail/1816/
현업에서는 데이터가 있어도 결정을 내리기 어려운 상황들이 있다. 특히 데이터를 통한 의사결정을 내릴 때, 가장 경계해야 할 점은 데이터가 있음에도 이를 잘못 해석해 잘못된 결론으로 가는 상황이다.
데이터를 잘못 해석하는 상황별 유형
1) 생존자 편향의 오류
- 전체 이용자를 기준으로 한 것이 아닌 이탈자를 대상으로 했기 때문에, 잘못된 지표 설정과 잘못된 해석이 발생
- 생존자 편향의 오류를 막기 위해서는 전체 대상을 기준으로 잡는 것이 중요
2) 심슨의 역설
- 전체 집단의 지표뿐만 아니라, 집단을 나누어 지표를 확인하는 과정이 필요함
3) 상관관계를 통한 성급한 일반화
- 상관성은 있으나 인과성이 없는 경우는 제3의 공통 원인이 존재할 가능성이 높음
- 사용자의 행동과 심리를 인지적으로 구조화하고 두 지표에 동시에 영향을 줄 공통 원인이 있는지 살펴봐야 함. 또한 새로운 구조로 지표 간의 관계를 파악하는 과정이 꼭 필요
4) 목적에 맞지 않는 지표 선택
- 목적에 맞는 지표를 선택해야함
- Ex) CTA 버튼 개선 프로젝트에서는 ‘조회 대비 클릭 수’가 아닌 ‘조회 유저 대비 클릭 유저’가 더 적절할 수 있음
용어 정리
- 심슨의 역설(Simpson's paradox): 전체 지표와 그룹을 나눈 지표의 방향성이 다르게 나타나는 상황
- CTA(Call To Action): 유저의 행동을 유도하는 버튼
- 세이건 표준: “특별한 주장에는 특별한 근거가 필요하다. (Extraordinary Claims Require Extraordinary Evidence, ECREE)” - 칼 세이건
