PAP콘 정리

Poco ·2022년 2월 13일
0

1. 데이터 드리븐 문화 구축하기

  • 데이터를 활용해서 의사결정 내리기

    • 성공 가능성이 높은 의사결정 하기 위해서
    • 수평적인 문화 형성에 도움
  • 데이터 드리븐 문화 형성의 어려움?

    • ‘문화’ 이기 때문
  • 데이터 조직이 고려하는 요소

    • 데이터 준비
    • 데이터 친밀감 ( 비개발 직군 )
      • 회사의 문제를 데이터로 푸는 사례를 진행할때
        • 신규 캠페인의 설치전환율이 낮아진 이유 파악
    • 가치 증명

(-)
시간: 새로운 데이터를 수집, 설계, 요청하는 프로세스 생성되어 시간이 듦
돈: PA 툴 비쌈, 데이터 인력 추가
(+)
이슈가 생기면 슬랙공유
전사미팅에서 데이터 기반 배움, 임팩트 공유
액션플랜 도출
새로운 프로덕트 기회 발견, 공유

2. 다짜고짜 배워보는 인과추론 (준실험)

한줄요약: A/B 테스트 못쓸때 준실험 쓴다. 준실험 사례도 많다.

예측 vs 추론

  • 예측: 어떤 사람이 충성고객이 될까? 결과를 맞추기, 오차를 최소화하기
  • 추론: 사용자에게 무엇을 해주면 충성고객이 될까?, 원인과 결과 찾기

인과추론 방법론

  • A/B테스트
  • 준 실험 ( 통제 환경을 가정 )
  • 도구변수 ( 통제 환경을 가정하기 어려울 때)
  • 회귀분석

준실험 사례

  • 나이에 따른 유방암, SAT 점수에 따른 소득 변화
  • 데이터의 변화가 어느 지점에서 생기는지?

넷플릭스 준 실험 활용 사례

  • 기술적으로 A/B 테스트 못하는경우
  • 기술적으로 A/B 테스트 가능하지만, 다른 변수가 개입할 여지가 있는 경우 ( 대중매체 노출, 개인화된 추천 시스템 개입, 사용자 사이의 소문 )

옥외광고를 통한 가입 효과 분석 사례

  • 옥외광고 지역별 분류
  • 대형 프로모션 진행했던 시간은 뺌.

프로덕트 관련한 의사결정은 A/B 테스트로 가능하지만, 비즈니스 관련한 의사결정은 하기 어려움.

3. 그레인저 인과 검정

한줄요약: 그레인저 인과 검정을 통해 가짜 상관관계(오답) 을 거를수 있는데, 해당 검정은 거시적 지표활용에 적합하다.

의사결정의 유형

  • 직관적 의사결정 : 대부분의 스타트업의 시작은 이 의사결정
  • 논리적 의사결정 : 컨설팅, 전략부서의 의사결정
  • 데이터 기반 의사결정 : 가설 -> 실험

인과추론을 위한 기준 예시
예시: 에어 프라이어를 이용하면 삶의 질이 올라간다.
1. 강도(효과 크기) : 에어프라이어 쓰고 만족도가 10에서 15
2. 일관성: 에어프라이어 처음 썼는데 그 뒤로도 좋았다
3. 시간성: 에어프라이어를 쓰고 기분이 좋아져야 한다. 기분이 좋아서 에어프라이어를 쓰진 않는다.
4. 타당성 : 에어프라이어를 쓰면 어떤 이유에서 만족도가 높아지는지 대략적으로 설명할수있어야한다.
5. 일치성 : 친구나 지인도 쓰고 삶의 질이 올랐고 나도 올랐다면
6. 실험근거
7. 유사성 : 에어프라이어와 유사한 전자레인지, 후라이펜

아이스크림 판매량과 상어 공격 예시

  • Y를 추정할때 X와, 과거의 Y로

사례

  • MMORPG 게임은 하나의 사회
  • 매출 불평등도가 낮으면 미래의 매출이 높아질까?
    • 이런게임이 갓겜이라고 불림.
    • 고인물게임
  • 가짜 상관관계임을 보고함.

유의점 및 한계

  • GDP와 실업율과 같은 거시적인 지표에 어울림
  • 그래도 사용하면 좋은이유 : 오답을 거르는 이유

오늘 뭐 먹을까요에 완벽한 답을 찾을 수 없으나
상황별로 유형화해놓으면 빠르게 점심을 먹을수있다.
오늘은 무난하게 국밥, 비오는데 가까운 가게
시간이 한정되어있으니 포맷화하는 결정이 회사에서는 좋은 결과

그레인저 인과관계를 가짜 상관관계를 거르는 용도로 사용하면 좋겠다.

4. 실무자를 위한 인과추론 활용

한줄요약: A/B 테스트 말고 도구변수, 업리프팅, DID와 같은 방식으로도 인과추론이 가능하다.
도구변수 관련 글:

https://danbi-ncsoft.github.io/study/2019/08/07/IV.html
https://medium.com/bondata/instrumental-variable-1-6c249de6ea34

목적

  • 인과추론이 비즈니스에 가져다주는 기회
  • 인과추론 실무에 적용하는 어려움.

실무 인과추론의 위계
1. A/B 테스트를 하자.
2. 실험에 가까운 부분적인 데이터셋을 사용하자.
3. 가정을 기반으로 변수를 통제하자.

풀수있는 문제의 유형과 사례분석

  1. “도구변수”
    AB테스트 해도 유저가 처치를 안받을때, 처치의 효과를 어떻게 확인할수있을까?

  2. 업리프트
    비용이 수반되는 A/B 테스트 진행시 어떤 유저에게서 효율 극대화?

  3. DID

5. 마케터에게 필요한 Data Literacy

한줄요약: 딥하게 세그먼트를 나누고 세그먼트별 마케팅 활동을 하자. 마케팅 매체별로 나누지말고, 마케팅 목적별로 매체를 관리하자.

패스오더 고민: B2C 유저 확보 ( 소비자수 ) vs B2B (상점수)
결정은 B2C 올인한다. B2B도 늘어날것이다. 그러나 B2B 늘어나지 않았음.

넷플릭스

  • 작품수가 많으면 매출수가 늘어날것이다에서
  • 어떤 시리즈를 몇개월 주기로 몇개 공개하는가로 고차원적인 변화로 증가

신속한 온보딩이 브랜드 충성도, 리텐션에 영할을 주지 않는다.
신규고객을 다르게 유치하기로 결정

B2C 고객이 늘어나면 B2B 도 늘어갈것이다.가 틀린이유

  • B2C는 정착한다.
  • B2B 프렌차이즈 본사정책에 따라다르다.

결론: 사이드에 맞는 개선된 액션 아이템 제시가 중요하다.
B2B, B2C 별로 세그먼트별 개선된 액션 아이템을 제시하는식으로 개선함.

서비스 겉표면에서 이뤄지는 행동은 간소화 ( CTR, CPC, ROAS 등등 )
대시보드 관찰값과 주변의 메타환경 ( 시장상황 ) 도 함께 수집한다.
결론: 광고데이터 말고, 인게이지먼트와 리텐션과 같은 지표도 함께 수집하기로 함

총설치수, 방문자수는 과감하게 제외하기

소감: 열심히 들었으나 머리가 아프다. A/B 테스트 이외에도 인과관계를 찾기위한 다양한 방법들이 있다는 점을 실감할수 있었다. 지금 시점에서는 크게 요구되는 역량도 아니고, 실무에 적용할 방법도 떠오르지 않지만 언젠가 필요한 시점이 오면 '준실험','도구변수','그레고리 인과검정' 같은 키워드를 떠올려볼 수 있겠다.

profile
안녕하세요. 개발자와 마케터 경험을 가지고 PM으로 일하는 김선욱(aka 포코) 입니다. 제품 개선, 애드 테크, 광고 수익 최적화에 관심이 많습니다. velog에는 일하면서 얻은 인사이트를 기록하고 있습니다.

0개의 댓글