인과추론 회고 글 정리

*이 글은 최보경님의 slideshare 포스트를 읽고 정리한 글입니다.
출처: https://www.slideshare.net/.../causal-inference-kr-250571261

현업에서 A/B 테스트 잘 못쓰는 이유

• A안 유저의 행동으로 B안에 영향을 주는경우 ( A안 유저 좋아요 눌러서 B안에 안보여야할 유저가 보게됨 )
• A/B 테스트 이외에도 기능개발의 리스크를 줄일 수 있는 방법이 있음.
  트래픽/유저가 서비스를 잘 이해하고 있는 정도에 따라 ( UT, 데이터분석)
• 실험이 제품 지표 침해하는 사례 ( 광고 넘기려고 하다가 액티브한 이벤트 추가되는 경우 )

기능 추가가 MAU, 리텐션에 도움이 되는가?

• 콴다의 퀴즈퀴즈 기능이 리텐션 4%p 증가에 도움을 주었다고 함.
• A/B 테스트를 진행하지 않고 배포했기 때문에 배포하지 않은 다른 나라에서의 비교, 배포전의 기간 등등으로 비교했다고 한다.

나름 데이터 분석에 관심이 있다고 생각하는 편이었는데 실제 데이터 분석가의 업무를 보고나니 업으로 하는 분들과는 큰 차이가 있다는 생각이 들었고, 나의 영역은 아닌것같다.
가설을 딜리버리할때 나름 데이터 기반으로 사고해서 제안한다고 생각했지만 데이터를 보고 상관관계에서 실험을 제안하는것보다, why how what 기반으로 가설을 설정하는것이 기획자의 역할인것같다고 다시한번 생각하게 되었고 보지도 못하는 데이터에 대해서는 과하게 집착하지 말고, 유저의 문제에 대해서 더 생각해보자고 생각하게 되었다.