대시보드가 필요한 순간

대시보드는 날마다 숫자가 자동으로 업데이트되는 편리한 도구다. 배포 이후 사용자가 제품을 잘 사용하고 있는지 보기 위해, 우리 팀이 목표한 지표를 현재 어느 정도 달성했는지 확인하고 싶어서, 그리고 주기적으로 추출하고 확인해야할 대상이 있을 때 등등.. 다양한 배경으로 대시보드를 요청받는다.

그러나 시간이 지나, '이 대시보드가 필요했었나?'라고 질문해 보면 모든 순간이 꼭 그렇지는 않았다. 만들어놓고 나만 보는 대시보드도 있고, 관리를 해주지 않아 신뢰를 잃어버리고 잊히는 대시보드도 있다.

그런데 대시보드 하나 만들기 위해서는 수많은 시간이 들어간다. 앱로그가 잘 들어오는지 로그 qa를 하고, 예상과 다르게 들어오는 데이터를 발견하면 이유를 찾기 위해 하나하나 까보기도 하고, 전반적으로 데이터 정합성이 의심되는 경우 앱로그와 서버테이블을 대조하여 검증하기도 하며, 대시보드를 그리다가 테이블 구조의 변경이 필요해서 마트 한판을 다시 만들어야 할 때도 있다. 그리고 대부분 이러한 작업이 or 조건이 아니라 and 조건으로 필요하다.

대시보드는 제작 목적이 명확해야한다, 가 머리로는 이해되지만 여전히 새로운 대시보드 요청을 받는 순간 고민이 든다. '주기적으로 모니터링할 만큼 중요한 지표일까?'를 판단하기 위한 근거가 마땅히 떠오르지 않기 때문이다. 그래서 요즘은 일단 요청을 받은 대로 대시보드를 만들어보고, 어떤 지표가 문제 상황마다 잘 사용되는지 혹은 시간이 지나 아무도 궁금해하지 않는지 메모해 보기로 했다.

대시보드도 제품인가?

내 생각에는 SSAP 그렇다. 이 제품의 사용자는 내 동료들이고, 대시보드로 시각화하고자 하는 문제 상황에 대해 나보다 더 깊게 고민해 봤을 확률이 높다. 최근에 팀원들로부터 받은 피드백을 토대로 대시보드를 업데이트할 기회가 있었는데, 이때 질문받은 내용과 몇 가지 개선했던 것들을 정리했다.

1. 여기서 무엇을 봐야하나요

처음에는 사람들이 대시보드를 어떻게 사용할지 상상했다. 앞으로 제품을 여러 차례 개선하게 될 텐데, 액션 전후로 무엇이 달라졌는지 다각도로 살펴볼 수 있어야 하지 않을까? 그래서 '뭘 좋아할지 몰라 다 준비했어'라는 의도로 주요 클릭율과 전환율을 리스트업하고 대시보드에 꽉 차게 배치했다. 하지만 팀원들에게 초안을 공유했을 때 돌아오는 반응은 예상과 달랐다. '무엇을 봐야 하는지 헷갈린다'는 의견이 대다수였다.

여러 지표를 그려야 했기 때문에 초안을 만들기까지 이미 시간도 오래 걸린 상황이었다. 피드백을 듣고 다시 대시보드를 들여다보니 팀원의 말에 공감이 갔다. 무엇이 가장 중요한지 눈에 들어오지 않았고, 지표가 많아서 어느 순서대로 봐야 할지 전반적으로 헷갈렸다. 만일 회의 중에 A를 확인하기 위해 대시보드를 열어본 상황을 가정했을 때, 'A를 어떻게 봐야하지..' 두 눈이 흔들리고 길을 잃어버리는 혼돈의 상황이 상상되었다.

그래서 참고용 지표는 상세 대시보드로 빼고, 일별로 변동이 크지 않은 수치는 아예 제외했다. 최근 회의 시간을 떠올리며 자주 소비된 지표만 메인 대시보드에 남겨두었다. 그리고 개선된 대시보드를 팀원들에게 공유하며 최근에 진행한 액션을 예로 들어 A 지표가 이전과 대비해서 몇 퍼센트 개선된 것인지 함께 설명했다.

전환율 A가 20%p 개선되었는데, 이는 매일 서비스에 진입하는 사람이 10만 명이라고 가정할 때 매일 전환되는 사람이 2만 명 늘어나는 효과예요.

중요하지 않은 지표는 제외하고, 메인 지표를 위주로 공유했을 때 팀원들이 더 잘 이해한다는 느낌을 받았다. (=후속 질문을 더 많이 받았다ㅎ)

이렇게 핵심 지표로 요약하는 방식은 여러 액션의 성과를 비교하기에도 좋았다. 매번 새로운 지표로 성과를 측정하는 것이 아니라, 일관성 있는 뷰로 바라볼 때 '우리 팀의 방향은 A를 높이는 것인데, 예전 실험보다 이번 실험의 성과가 더 좋네요'라고 바로 비교할 수 있기 때문이다.

데이터를 파묘하다보면 이렇게도 볼 수 있고 저렇게도 볼 수 있는 것이 사실이다. 그렇지만 이렇게 자세하게 분석하는 작업은 메인 지표가 기대와 달리 움직이지 않을 때 진행되어도 늦지 않은 것 같다.

2. 일 단위로 이만큼이면, 주 단위로는 얼만큼이죠?

타깃 대상자가 앞으로 얼마나 늘어날지 대시보드로 확인하고 싶다는 요청이었다. 큰 폭으로 늘어나는 시점을 예상하고 미리 대응하기 위해서다. 먼저 daily로 지표를 그려서 회의에 가져가니, 주 단위 월 단위의 변화는 어떠할지 질문을 받았다. 대시보드에 표를 추가로 그려야하나 고민을 하고 있던 찰나, 마침 옆자리 동료분이 태블로에 매개변수 기능이 있다는 것을 알려주셨다.

매개변수는 리모컨 같은 도구다.

• 집계 기준을 여러 가지로 세팅이 가능하다. (ex. daily/weekly/monthly, pv/uv, 연령별/성별 등등 group by 변수를 조정할 수 있다.)
• 집계 일자를 조정할 수 있다.
• 하이라이트를 할 수 있다. (ex. 건수가 1만이 넘었을 때 하이라이트)

매개변수는 항상 필요한가? 그건 아니다. 하지만 자주 받는 질문을 리스트업하고 대시보드에 추가 반영해 놓으면, 회의할 때 당황하지 않고 바로 필터를 조정해서 수치를 확인하고 의사결정할 수 있다는 장점이 있는 것 같다.

마무리하며

지금 대시보드가 필요한가? 라는 질문에 답하려면, 지속적으로 모니터링할 중요한 지표가 무엇일지 우선 파악해야한다. 이 문제는 내가 혼자 고민하는 것이 아니라 대시보드를 요청한 사람과 여러번 논의해서 결정해야하는 것 같다.

만일 내가 어떠한 형태의 대시보드를 요청받아도 2시간 이내에 무조건 만들 수 있는 능력자라면 이런 고민을 하지 않고 일단 다 만들어둘 수도 있었을 것 같다. 하지만 나는 그런 능력을 가지고 있지 않고 대시보드를 만드는 데 시간이 꽤 걸린다. 대시보드에 n시간을 더 투자하는 만큼 다른 업무를 할 수 있는 시간이 n시간이 줄어든다. 그래서 중요한 것이 무엇인지 요약하고, 모르는 것은 물어보고 파악하면서 최대한 시간을 효율적으로 쓰는 연습도 이제 해야할 것 같다.

출처 : 미생 유튜브 클립

이 글을 쓰면서 미생의 한 장면이 생각났다..ㅋㅋ 철강팀에서 강대리가 장백기에게 문장 줄이기 과제를 주는 장면이다. 업무를 할 때도 문득 생각나는 장면인데, 문장 줄이기는 정말 정말 어렵다. 내용을 깊이 이해하고 누군가를 이해시킬 수 있도록 설명할 수 있는 단계까지 도달해야, 전달이 잘 되는 요약을 해낼 수 있는 것 같다.