Product Data Science 3회차

주제: Metric Diagnosis - 갑작스러운 변동 이해하기
내용

• 지표 변동의 원인을 체계적으로 분석하는 능력 습득
  : Top-down 접근을 통해 원인을 파악하는 구조화된 사고법 학습
• 데이터 기반의 구체적인 개선안 제시 능력 개발
• 분석 결과를 명확하고 논리적으로 커뮤니케이션하는 스킬 향상

지표 진단(Metric Diagnosis)

: 주요 비즈니스 성과 지표(Metrics)에 갑작스러운 변화 발생 시 그 원인을 체계적으로 분석하고 해결 방안을 도출하는 과정
-> 이를 통해 데이터 기반 의사결정을 내리고, 지표 회복 및 개선을 위한 구체적 액션 제안

• 지표 진단의 중요성?
  • 지표의 급격한 변동은 비즈니스 성과와 직결되므로 신속한 원인 분석 및 대처가 중요
    ex) 전환율 감소, 사용자 이탈 증가 등
  • 지표 변동 원인을 다른 팀과 공유하고 필요한 액션을 제안하며 팀 간 협업 촉진을 통해 조직 내 가치 창출

갑작스러운 지표 변동 분석 프레임워크

Step 1. 변동의 심각성 판단

• 예상된 변동인가?
  • 계절성(Seasonality): 반복적 패턴인가?
  • 데이터 로깅(Data Logging): 최근 로그 방식 변경 여부
  • 제품 출시(Product Launches): 새로운 기능이 영향을 주었는가?

Step 2. Funnel 분석으로 문제 지점 식별

• 특정 퍼널에 이 문제가 발생했는가?
  -> 지표 변동 원인을 좁히기 위해 관련된 단계별 퍼널 구성

Step 3. Segmentation으로 원인 구체화

• 특정 사용자 그룹에만 영향을 미쳤는가?
  -> 데이터를 세분화하여 구체적으로 분석
  ex) 기기 유형, 앱 버전, 국가/지역, 사용자 유형 등

Step 4. 해결 방안 도출 및 커뮤니케이션

• 문제 해결을 위한 액션 플랜
• 제품 팀과 커뮤니케이션
• 문제 해결을 위한 단기/장기적 방안 모색

예시 시나리오 - 카카오톡

• 문제: 카카오톡 일일 메시지 전송량이 전일 대비 -15% 감소
• 목표: 감소 원인 파악 및 해결 방안 제안
• 제약 조건: 오후 3~7시 특정 시간대에 감소가 집중적으로 발생함