최근 고객사에 중간보고서를 제출한 뒤 질답 시간을 가졌을 때 질문 하나를 받았다.
보통 이메일 리스트로 발송하면 응답률이 어느정도 되나요?
길지도 않은 정도가 아니라 거의 전무하다고 해도 무방할만큼 짧은 회사생활을 했기에
알 턱이 없었다. 그러나 한 편으로는 “어쩌면 알 수도 있었다”라는 생각이 들었다.
이 회사는 수십년 간 조사업을 수행하면서 수도 없이 많은 설문조사 메일을 보내고 전화조사를 했다. 이에 대한 기록이 분명 존재한다. 그러나 회사는 안타깝게도 말단 직원인 나에게는 다소 불친절했다. 그런 데이터를 충분히 공유해주지 않았을 뿐더러 쉽사리 조회할 수 있는 환경도 조성해놓지 않았기 때문이다. 따라서 나는 고객사가 느끼는 불확실성에 대해 명쾌하게 답해줄 수 없었다.
고객사의 그런 질문을 받는 순간이 만약 중간보고서 제출 기간이 아니라 프로젝트를 수주 받고 협상하는 과정이었다면? 표본을 설계하는 때였다면? 그런 불확실성에 대해 묻는 고객사의 질문은 더욱 무겁게 느껴졌을 것이다.
임직원들의 피땀 어린 노력과 경험이 조직에 충분히 내재되어 있지 않음을 느꼈다. 수십 년간 연속적으로 이어져온 그 수고로움이 안타까웠다.
이에 그간 회사의 조사에 참여했던 응답자의 특성을 분석하고 응답률을 제고 시킬 방법론의 기틀을 마련하고자 한다.
설문조사가 진행되는 과정에서 응답자의 행동을 파악하는 것이 중요한 이유는 단연 이탈을 막고 완전한 조사를 수행함과 더불어 양질의 데이터를 생산해내기 위함이다.
이는 곧 ‘응답률’이라는 지표로 요약이 가능한데 일반적으로 설문조사에서 높은 응답률이 중요한 이유는 다음과 같다.
“설문조사에서 응답률은 높을수록 시장, 고객의 현황을 정확하게 파악할 수 있게 된다”
출처: https://home.pocketsurvey.co.kr/pks_tip_research/tip_improve-response-rates/
따라서 리서치를 수행하는 회사 입장에서는 최대한 많은 표본을 수집하는 것이 중요하다.
너무 당연하게도 많은 표본이 무조건 정확한 추정을 담보하는 것은 아니다. 오히려 표본 크기에 집착한 나머지 무리하게 데이터를 수집하다가 표본의 특성이 편향되어 부정확한 추정이 발생할 수도 있다.
그러나! 그럼에도 불구하고! 보통의 고객사는 ‘무조건 많은 표본’을 원한다.
따라서 매출의 원천인 고객사의 강한 입김을 받는 이 회사에서 최우선적인 목표는 ‘최대한 많은 표본’이 된다. 더군다나 내가 속한 마케팅 영역에서 고객사는 ‘엄밀한 표본 설계’를 원하지 않기 때문에 더욱 그렇다.
고객사는 잘 요리된 파인다이닝의 안심스테이크 1그릇보다는 상다리가 휘어지도록 반찬이 많이 나오는 밥상을 원한다.
그러니 당분간은 표집틀이니 층화추출, 집락추출이니 표본설계론에 나오는 이야기는 제쳐두고 정말 ‘응답률 극대화’에 집중해보고자 한다.
시리즈 A, 브릿지 투자를 유치하며 성장하고 있는 ‘포켓서베이’에 따르면 응답률을 높이기 위한 방법 4가지가 있다고 한다.
① 피로도 낮은 설문 제작
② 접근성 높은 배포 방식 활용
③ 응답 편의성 높은 의견 수집 도구 활용
④ 참여 동기를 향상시키는 리워드 제공
응, 근데 참고만 하셔라. 나는 오늘 이것을 설명하려는 것이 아니다.
내가 검증하고자 하는 가설은 다음과 같다.
아래에서 조사라고 함은 ‘온라인 조사’를 뜻한다. 실사에서는 설문조사 참여자의 행동을 데이터로 수집하는 것이 매우 어렵다.
H1: 조사 완료 응답자와 이탈 응답자의 차이는 어디서 발생하는가?
H2: 조사 완료까지평균 조사 시간은?
H3: 응답자의 이탈을 야기하는 어떤 특별한 문항이 있는가?
H4: 문항이 얼마나 길수록 이탈률이 낮아질까?
H5: 각 조사마다 응답자들의 행동이 다른가?
H6: 어떤 특성에 따라 응답자들의 행동이 다르게 나타날까?
. . .
이런 수 많은 가설들의 종착지는 ‘이탈자의 조사 완료 독촉’에 있다.
응답자들의 행동들을 파악해서 이탈 확률을 사전에 계산하고, 심지어 실시간으로 이탈을 확인하여 즉시 전화 또는 문자로 접근하여 조사 완료를 독촉하는 것이 가능할지 검증하고자 한다.
말대로만 이루어진다면 정말이지 못할 설문조사가 없을 것이다.
이 Logic을 더 간략하게 표현하면 다음과 같다.
가설 검증 → 이탈 예측 모델 → 조사 중 실시간 이탈 확인 → 이탈자에게 접근하여 조사 독촉
회사의 데이터이기 때문에 공개는 어렵겠지만 분석 과정에서 알게 되는 지식, 난관 등에 대해 정리하는 글을 꾸준히 쓰고자 한다.
