👀 1. 들어가며

1.1. 상황

우리는 비즈니스 성과를 측정하고 분석하기 위해 다양한 지표를 정의하여 활용하고 있습니다. 매출, 결제 전환율, 재구매율, 방문자수 등 지표는 모든 구성원이 공통된 기준으로 정의해야하고, 동일한 방식으로 집계되어야 합니다. 우리 서비스의 성과를 파악하고 비즈니스의 방향을 결정하는 데 중요한 역할을 하기 때문이죠. 예를 들어, A배포에 대한 결과를 분석하여 유지할지 롤백할지 의사결정을 해야한다고 합시다. A는 결제 전환율이 이전보다 줄어들었으니 중단하자, B는 결제 전환율이 이전보다 증가했으니 유지하자라며 지표의 정의나 집계방식이 달라서 의사결정 충돌이 생기는 문제가 있어서는 안되니까요.

모든 구성원이 동일한 지표를 사용하게 하고, 적절한 지표를 선택하도록 하기 위해서는 ⭐데이터 기반 문화⭐를 갖추는 노력이 필요합니다. 데이터 기반 문화를 정착시키기 위해서는 모든 구성원이 지표에 대해 이해할 수 있도록 돕는 것이 중요합니다.

올해 회사에서 기존에 사용하던 지표를 최신화하고 고도화하는 작업을 진행하고 있습니다. 개발한 지표를 전사에 공유함과 동시에 데이터 기반 문화를 만들고자 "지표 저장소(Metric store)"를 문서화하기로 했습니다. 우리가 사용하는 지표의 정의, 계산 방법, 데이터 소스, 업데이트 주기 등 구성원들이 이 문서만 읽고도 지표를 이해하고 최신 쿼리를 일관된 방식으로 사용할 수 있도록 기여하기 위해서 입니다.

1.2. 예상독자

이 글에서는 "지표 저장소(Metric store)"를 기획하는 과정이 담겨있습니다. 어떤 항목을 포함하면 좋을지 정의도 해보고 다른 기업의 사례들도 찾아보며 벤치마킹 요소를 정리해봤습니다.. 이런 분들이 읽으시면 참고도 하실 수 있고 아이디어도 얻으실 수 있을 것 같습니다.

• 지표 저장소(Metric store)를 만들고자 하는데 어떻게 만들면 좋을지 고민이 많아 다른 회사의 사례를 참고하고 싶은 분들
• 공통의 지표를 기반으로 의사소통하는 문화를 만드는데 관심이 많은 데이터분석가,PM,기획자 등 데이터를 다루는 다양한 직군들

🔎 2. Metric store에는 어떤 항목이 포함되면 좋을까?

2.1. 다른 회사에서는 어떻게 하고 있을까?

(1) PM을 위한 데이터리터러시 강의- Metric store

변성윤(카일)님의 PM을 위한 데이터 리터러시 강의에서 Metric store를 소개해주셔서 이 개념을 처음알게 됐는데요. 성윤님은 강의에서 아래와 같이 소개해주셨어요.

Metric store는 지표 저장소로 내부의 지표를 정의해두거나 지표의 선행지표 후행지표를 정리해둔 노션이나 스프레드시트나 플랫폼 등을 의미한다.

Metric store를 작성하면 자주 사용하는 지표의 정의를 모아둠으로써 사람마다 다른 정의를 하지 않을 수 있다는 장점이 있는데요. 성윤님이 예시로 들어주신 Metric store의 구성요소는 아래와 같습니다.(강의에서 지표를 어떻게 정의하고 활용하면 좋을지 구체적인 방법들도 소개하고 있어서, 지표에 대해 관심이 많으신 분들이라면 수강해 보시길 추천드립니다!)

• 지표 명
• 지표의 의미
• 카테고리
• 시간축 (지표를 생성할 때 어떤 시간 기준으로 데이터를 볼 것인지)
  • ex. 시간대별, 일자별, 주차별, 월별, 연도별
• 차원 (데이터 속성, 데이터를 볼 때 사용할 관점)
  • ex. 연령대별, 고객별, 국가별
• 지표 담당자
• 쿼리

PM을 위한 데이터리터러시 강의를 통해 Metric store가 왜 필요하고, 어떤 내용이 꼭 들어가야할지 파악할 수 있어서 큰 도움을 받았어요👍

(2) 당근마켓- KarrotMetrics

당근마켓에서 작성한 신뢰할 수 있는 지표 만들기에 따르면, 당근마켓에서는 KarrotMetrics라는 이름으로 제품화하여서 Metric store를 운영하고 있어요. 기존에는 지표에 대한 정보들이 산재되어 있었는데, 이를 하나의 중앙화된 저장소에서 관리하고자 한 것이 인상깊었어요.

신뢰할 수 있는 지표를 만들기 위해 기술적인 요소들을 많이 활용하고 있어서, 읽으면서 많이 배울 수 있었는데요. 특히 지표라는 개념의 구성요소를 정의한 부분에 잘 정리되어 있어 참고했습니다! (구체적인 설명은 당근마켓에서 작성한 글을 읽어보시길 추천드립니다!)

• 이름 (지표의 key 처럼 사용되는 지표의 고유 이름)
• 설명
• 오너 정보
• 도메인 정보 (해당 도메인으로 datahub에서 조회 가능)
• 차원 : 지표에서 롤업해서 사용하는 디멘션
• 종류
• 지표를 구하기 위해 사용되는 재료 (지표를 구하기 위해서 어떤 이벤트, DB의 데이터, 외부 데이터 등을 사용할 것이고, 어떤 필드를 가져올 것인지 정의)
• 계산 방법 (COUNT할 것인지, COUNT(DISTINCT)를 할 것인지에 대한 내용)
• 계산 기간 (어느 기간의 데이터를 계산할지에 대한 정의)
  * ex. daily, weekly, montly
• 계산 대상 (어떤 국가의 지표인지에 대한 설명)
• 버전 정보 : 히스토리 관리를 위한 버전 정보

당근마켓에서도 지표를 정의할 때 지표의 오너와 도메인을 지정해서 추후에 해당 지표에 대해 질문이 있을 때 오너를 쉽게 찾을 수 있도록 하고, 변경사항과 이력을 잘 기록해 둔 것이 인상깊었습니다. 지표를 구하기 위해 사용되는 데이터를 표시하고, 버전 정보를 관리하는 것은 우리 회사에도 적용해봐야겠다는 아이디어를 얻을 수 있었어요👍

(3) 통계청- 지표 누리집

지표 누리집은 아래 이미지와 같이 통계청에서 관리·운영하는 6종의 지표체계를 소개하는 사이트인데요.

여러 지표를 주제별로 모아 이용자가 한곳에서 쉽게 활용할 수 있도록 제공하는 지표통합서비스 입니다.

지표누리집은 통계청에서 제공하는 Metric store(지표 저장소)의 역할을 한다고 할 수 있어서 아래 이미지 처럼 지표를 클릭하면 나오는 지표별 페이지의 구성요소를 정리해봤습니다.

• 지표 명
• 지표 예시 (그래프나 표 형식으로 지표 예시를 보여주는 역할)
• 지표 정의
  • ex. 경제성장률은 실질 국내총생산(Gross Domestic Product, GDP)의 연간 증가율을 백분율로 나타낸 것임. 즉, 금년의 실질 GDP가 작년보다 얼마나 더 증가 혹은 감소하였는지를 나타내는 지표임.
• 측정 목표 or 지표 해석 (지표를 측정하는 목표나, 지표를 어떻게 해석하면 될지 설명해주는 역할)
  • ex. 국내총생산(GDP)은 한 나라 안의 모든 경제주체가 1년 동안 생산한 최종재의 시장가치를 모두 더한 것으로 한 국가의 전반적인 생산활동 수준과 경제규모를 나타낸다. 특히 실질 GDP는 물가수준의 변동을 제거하고 생산량의 변동만을 반영하도록 만든 지표로서 서로 다른 기간의 생산량을 비교하는 데 사용될 수 있다. GDP의 증가율, 즉 경제성장률은 국가경제의 경기상황과 성장잠재력을 직접적으로 나타내는 지표라고 할 수 있다.
• 유의사항 (지표가 변경된 히스토리를 알수 있는 역할)
  • ex. 경기예측력 및 현재 경기설명력 향상 등을 위한 제8차 경기종합지수 개편으로 2012. 2월부터 동행, 선행, 후행종합지수의 구성지표가 변경
• 연관 지표 or 관련 용어 (지표와 연관된 지표나 용어를 설명하여 이해를 높이는 역할)
• 지표 정보
  • 담당 부서 및 연락처
  • 최근 갱신일
  • 갱신 주기
• 의견 및 질문 (지표와 관련된 질문과 답변을 확인 할 수 있는 역할)

지표 누리집을 보면서 Metric store를 보는 구성원들이 가장 궁금해 할 측정 목표나 지표 해석, 연관 지표, 관련 용어를 이렇게 설명해줄 수 있구나 아이디어를 얻을 수 있었어요👍 의견 및 질문 부분을 통해서 문의를 문서를 통해 대응할 수 있는 방법도 알 수 있어 도움이 많이 됐습니다!

2.2. 우리 회사의 Metric store에 어떤 항목이 포함되면 좋을까?

본격적으로 기획을 하기 전에 "Metric store"가 어떤 공간이 되면 좋을지, 어떤 정보가 담기면 좋을지 작성해 봤습니다.

(1) 지표의 정의와 설명
각 지표에 대한 정의와 설명을 한 눈에 파악할 수 있도록 해서 이 문서만 보고도 지표의 정의를 이해하고 계산로직을 파악할 수 있으면 좋겠다.

(2) 지표간의 연관성과 활용 방법 파악
연관된 지표를 확인할 수 있으면 좋겠다. 어떤 현상이 일어났을 때 빠르게 원인을 찾고 업무에 활용할 수 있어 도움이 될 것 같다. 뿐만 아니라 지표를 바탕으로 향후 과제나 어떻게 활용할지 아이디어를 얻을 수 있으면 좋겠다.

(3) 최신 버전 관리
가장 최신 쿼리를 확인 할 수 있으면 좋겠다. 뿐만아니라 관리자가 지속해서 업데이트 하기 위해서는 관리하기에 번거롭지 않으면 좋겠다. 리소스 투입이 크게 들지 않되 업무에 필요한 내용이 잘 담겨 있으면 좋겠고, 질문이 많이 들어오는 것을 문서를 통해 해소할 수 있으면 좋겠다.

작성한 내용과 벤치마킹 요소를 참고하여 아래와 같이 "지표 백과사전"을 구성해봤습니다. 저희 회사는 confluence를 사용하고 있어서, 아래 양식으로 위키 문서를 만들어 운영 할 예정입니다.

지표 백과사전이라는 이름을 붙였는데요. 지표간의 연관성과 활용 방법을 파악할 수 있으면 구성원들의 업무에 큰 도움이 될 것 같아, 추후에 지표 위계를 파악할 수 있는 Metric Hierarchy를 추가할 예정입니다.(Metric Hierarchy에 대한 설명은 PM을 위한 데이터 분석, 데이터 리터러시- Metric Hierarchy 설명 문서에 잘 나와있으니 관심있으신 분은 읽어보시길 추천드립니다) Metric Hierarchy와 Metric store 등 지표를 문서 하나로 파악할 수 있어 지표 백과사전이라고 정의해봤어요🥰

큰 목차는 다음과 같습니다.

• 1. 이력 (이력을 업데이트 한 일자와 업데이트 내용을 확인하기 위한 목적)
• 2. 목차 (원하는 목차로 편하게 이동하기 위한 목적)
• 3. Metric Hierarchy (지표간의 연관성과 위계를 한 눈에 확인하기 위한 목적)
• 4. Metric store
  • 대시보드 (대시보드를 통해 주요 지표를 모니터링하도록 제공할 예정이어서 대시보드를 기준으로 구분함)
• 5. FAQ (지표와 관련된 자주 나오는 질문들을 모아 제공해서, 관리자의 리소스를 줄여주고 해당 문서를 통해 궁금점을 해소하도록 돕기 위한 역할)

Metric store를 구성하는 요소는 다음과 같습니다.

• 지표 카테고리 (지표가 어떤 카테고리에 속해있는지 설명)
• 지표명 (지표 이름)
• 설명 (지표의 의미와, 어떤 시간 기준으로 데이터를 볼 것이며 어떻게 집계할 수 있는지 설명)
  • 지표 의미
  • 차원
  • 시간축
• 계산로직 (지표의 분자와 분모의 조합을 설명)
• 관련지표 (이 지표와 연관된 지표를 설명)
• 참고
  • 쿼리 링크 (가장 최신화된 쿼리를 확인할 수 있는 링크 제공)
  • 그래프 이미지 (그래프 형식으로 지표 예시 제공)
• 활용예시
  • 활용 방안 (지표를 어떻게 해석하고 활용하면 될지 설명 제공)
  • 분석 위키 모음 (해당 지표를 활용한 분석 위키를 제공하여 활용방안에 대한 아이디어를 얻을 수 있는 역할)
• 사용테이블 (지표를 개발할 때 사용한 테이블 목록 제공)
• 히스토리 (지표에 수정이나 업데이트가 발생하면 업데이트 일자와, 내용, 업데이트 담당자를 작성하여 문의할 수 있도록 도움을 주는 역할)

🙌 3. 정리하며

"지표 저장소(Metric store)"를 만들기 위해 리서치를 통해 벤치마킹 요소를 정리해보고, 기획해보는 과정을 소개했습니다. 기획한 내용을 가지고 팀원들과 미팅을 통해 고도화하고 실제 운영하며 발전 시켜 나갈 예정인데요! "지표 백과사전"이 잘 동작하는지, 운영해나가면서 수정되거나 추가한 내용은 무엇이 있는지 몇 개월 뒤에 생생한 경험 글로 다시 찾아오겠습니다🥰

저와 비슷한 고민을 가지신 분들이 "지표 저장소(Metric store)"를 만드실 때 도움이 되셨길 바랍니다!

📑 참고 자료

• 변성윤(카일)님의 PM을 위한 데이터 리터러시 강의
• 당근마켓, 신뢰할 수 있는 지표 만들기
• 통계청,지표 누리집