데이터를 활용해서 의사결정 내리기
데이터 드리븐 문화 형성의 어려움?
데이터 조직이 고려하는 요소
(-)
시간: 새로운 데이터를 수집, 설계, 요청하는 프로세스 생성되어 시간이 듦
돈: PA 툴 비쌈, 데이터 인력 추가
(+)
이슈가 생기면 슬랙공유
전사미팅에서 데이터 기반 배움, 임팩트 공유
액션플랜 도출
새로운 프로덕트 기회 발견, 공유
한줄요약: A/B 테스트 못쓸때 준실험 쓴다. 준실험 사례도 많다.
예측 vs 추론
인과추론 방법론
준실험 사례
넷플릭스 준 실험 활용 사례
옥외광고를 통한 가입 효과 분석 사례
프로덕트 관련한 의사결정은 A/B 테스트로 가능하지만, 비즈니스 관련한 의사결정은 하기 어려움.
한줄요약: 그레인저 인과 검정을 통해 가짜 상관관계(오답) 을 거를수 있는데, 해당 검정은 거시적 지표활용에 적합하다.
의사결정의 유형
인과추론을 위한 기준 예시
예시: 에어 프라이어를 이용하면 삶의 질이 올라간다.
1. 강도(효과 크기) : 에어프라이어 쓰고 만족도가 10에서 15
2. 일관성: 에어프라이어 처음 썼는데 그 뒤로도 좋았다
3. 시간성: 에어프라이어를 쓰고 기분이 좋아져야 한다. 기분이 좋아서 에어프라이어를 쓰진 않는다.
4. 타당성 : 에어프라이어를 쓰면 어떤 이유에서 만족도가 높아지는지 대략적으로 설명할수있어야한다.
5. 일치성 : 친구나 지인도 쓰고 삶의 질이 올랐고 나도 올랐다면
6. 실험근거
7. 유사성 : 에어프라이어와 유사한 전자레인지, 후라이펜
아이스크림 판매량과 상어 공격 예시
사례
유의점 및 한계
오늘 뭐 먹을까요에 완벽한 답을 찾을 수 없으나
상황별로 유형화해놓으면 빠르게 점심을 먹을수있다.
오늘은 무난하게 국밥, 비오는데 가까운 가게
시간이 한정되어있으니 포맷화하는 결정이 회사에서는 좋은 결과
그레인저 인과관계를 가짜 상관관계를 거르는 용도로 사용하면 좋겠다.
한줄요약: A/B 테스트 말고 도구변수, 업리프팅, DID와 같은 방식으로도 인과추론이 가능하다.
도구변수 관련 글:
https://danbi-ncsoft.github.io/study/2019/08/07/IV.html
https://medium.com/bondata/instrumental-variable-1-6c249de6ea34
목적
실무 인과추론의 위계
1. A/B 테스트를 하자.
2. 실험에 가까운 부분적인 데이터셋을 사용하자.
3. 가정을 기반으로 변수를 통제하자.
풀수있는 문제의 유형과 사례분석
“도구변수”
AB테스트 해도 유저가 처치를 안받을때, 처치의 효과를 어떻게 확인할수있을까?
업리프트
비용이 수반되는 A/B 테스트 진행시 어떤 유저에게서 효율 극대화?
DID
한줄요약: 딥하게 세그먼트를 나누고 세그먼트별 마케팅 활동을 하자. 마케팅 매체별로 나누지말고, 마케팅 목적별로 매체를 관리하자.
패스오더 고민: B2C 유저 확보 ( 소비자수 ) vs B2B (상점수)
결정은 B2C 올인한다. B2B도 늘어날것이다. 그러나 B2B 늘어나지 않았음.
넷플릭스
신속한 온보딩이 브랜드 충성도, 리텐션에 영할을 주지 않는다.
신규고객을 다르게 유치하기로 결정
B2C 고객이 늘어나면 B2B 도 늘어갈것이다.가 틀린이유
결론: 사이드에 맞는 개선된 액션 아이템 제시가 중요하다.
B2B, B2C 별로 세그먼트별 개선된 액션 아이템을 제시하는식으로 개선함.
서비스 겉표면에서 이뤄지는 행동은 간소화 ( CTR, CPC, ROAS 등등 )
대시보드 관찰값과 주변의 메타환경 ( 시장상황 ) 도 함께 수집한다.
결론: 광고데이터 말고, 인게이지먼트와 리텐션과 같은 지표도 함께 수집하기로 함
총설치수, 방문자수는 과감하게 제외하기
소감: 열심히 들었으나 머리가 아프다. A/B 테스트 이외에도 인과관계를 찾기위한 다양한 방법들이 있다는 점을 실감할수 있었다. 지금 시점에서는 크게 요구되는 역량도 아니고, 실무에 적용할 방법도 떠오르지 않지만 언젠가 필요한 시점이 오면 '준실험','도구변수','그레고리 인과검정' 같은 키워드를 떠올려볼 수 있겠다.