Short Review⏰
Day23
[TIL]
오늘은 User Segmentation & Cohort Analysis를 통해 세분화된 사용자 그룹을 분석하고 제품 전략을 수립하는 방법을 공부했다. 더불어 A/B 테스트를 통해 고객 만족도를 정량적으로 분석하고 제품을 개선할 수 있는 방법을 배웠다.
User Segmentation는 고객 데이터의 필터 기능으로, 1차 데이터를 하위 기준으로 분류해서 보는 것을 의미한다. 예를 들어 앱 사용자 전체의 데이터를 성별, 연령, 국가, 플랫폼 별로 나누어서 보는 것도 세분화에 해당한다.
Cohort Analysis는 User Segmentation와 비슷하지만 특정 기간 동안 공통된 특성이나 경험을 갖는 사용자 집단을 분석한다. 다만, 분석 시 전체에 대한 기준이 아닌 바로 전 기간 또는 전년도 동일 기간에 대한 비율로 분석한다. Cohort Analysis를 할 때 주의할 점은 기념일, 공휴일, 명절 등의 특이점이 있는지 확인해야한다. 연말에는 당연히 교육상품의 수요가 증가하 듯, 이런 부분은 제품 개선에 적용하기 어렵기 때문이다.
A/B 테스트는 정의된 지표와 관련하여 여러 가지 버전의 기능이나 페이지를 평가하는 실험이다. 쉽게 말해 두 그룹의 사용자들에게 서로 다른 페이지나 기능을 보여준 뒤 어떤 그룹에서 더 좋은 성과가 나타나는지, 긍정적인 UX를 제공할 수 있는지를 지속적인 시험을 통해 정량적으로 평가할 수 있는 테스트 기법이다.
A/B 테스트의 장점은 정량적 데이터를 기반으로 리스크를 줄일 수 있다는데 있다. A/B 테스트를 통해 고객들의 행동 패턴을 파악하고, 실제 고객이 원하는 것을 파악한 뒤에 적용하는 것은 이런 리스크를 줄이는 데 큰 도움이 되기 때문이다. 더불어 상광관계를 파악하고 다음 액션을 취할 수 있다.
Lesson Insight🪄
PM은 고객을 끊임없이 분석해야한다. 그것도 정량적으로.
그래야만 고객이 원하는 제품으로 우리의 제품을 개선 할 수 있고, 리스크를 줄일 수 있다.
오늘은 User Segmentation & Cohort Analysis를 통해 세분화된 고객을 분석하는 방법을 공부했다. 이걸 보고 든 생각은, 개인화 서비스 나아가서 초개인화 서비스가 많아지면서 이제는 분석 또한 고객 맞춤으로 해야한다는 것이었다. 그도 그럴것이 AI를 통해서 개인화된 서비스를 제공하면, 그에 맞게 개인화된 분석이 필요할 것이다. 이 집단은 과연 개인화 서비스를 만족하고 있는지, 아니라면 어떻게 개인서비스를 개선해야하는지 고민해야할 것이다.
더불어 A/B 테스트를 통해 어쩌면 고객에게 선택지를 주는 정량적 테스트도 배웠다. A/B 테스트의 데이터를 통해 제품을 개선한다면 분명, 전환율, CPC 높은 확률로 오를 것이다. 다수의 고객이 선택했기 때문이다.
그럼에도 나는 A/B 테스트를 보고 약간 막막한 기분이 들었다. A/B 테스트를 트레킹할 수 있는 요소도 생각해야하고, 어떤 요소를 비교해야하는지도 고려하고, 팀의 상황도 고려해야하고, 가설도 잘 세워야하고 등등 여러 차원에서 생각을 잘 해야한다고 생각했다. 그래야만 고객이 진정하게 원하는 바를 찾을 수 있을 것이다.
고객이 원한는 것을 찾기 위해서는 우선 내가 A/B 테스트를 잘 알고 있어야한다고 생각했다. 그래서 오늘은 OTT서비스인 '넷플릭스'와 '티빙'의 A/B 테스트 예시를 분석해보고, A/B 테스트에 대해 이해해보고자 한다.
왜 OTT 서비스인가?
이유는 간단하다. 하나의 OTT 서비스에 정착하지 못하는 나는, 다양한 OTT 서비스를 사용해보면서 테스트 당하는 기분을 많이 느꼈기 때문이다.
너 이거 좋아하지?
이거 같은 콘텐츠긴 한데, 광고 이렇게 하니까 보고싶지?
오늘은 포스터를 바꿔봤어, 그럼 이 콘텐츠 볼꺼야?
끊임없이 물어보는 것 같았고, 꼭 그런 테스트에 넘어가는 나였다.
그래서 요즘 어느 정도 정착한 넷플릭스와 티빙의 A/B 테스트 사례를 분석해 보면서 왜 내가 그 테스트에 넘어가게 되는지 알고 싶어졌다.
A/B 테스트
넷플릭스의 A/B 테스트
개선 포인트
일반적으로 고객에게 90초 이내로 컨텐츠에 주위를 끌지 않으면 흥미를 잃고 이탈한다는 사실을 발견한다. 넷플릭스는 사람들이 텍스트 시각정보를 처리하는 것 보다, 이미지를 처리하는데 더 빠르다는 사실을 통해 이미지를 통해 컨텐츠 접근 경험을 긍정적으로 만들 수 있는 방법을 고안하고자 했다.
그들이 컨텐츠 이미지 A/B 테스트로 얻고자 하는 목표는 다음과 같다.
고객들이 보고 싶은 스토리를 더 빨리 찾을 수 있게 해주는 Artwork 찾기
각 컨텐츠에 대한 시청률을 늘리고 전체적으로 더 많이 시청하도록 도모
제목이 재대로 전달될 수 있는 이미지 찾기
가설
컨텐츠 제목에 부합하는 이미지를 통해 고객의 클릭률, 총 재생 시간을 증가시킬 수 있을 것이다.
기간
지속적으로 시행하고 있는 것으로 예상한다.
타켓
모든 넷플릭스 사용자 (다만 국가, 지역, 전 세계 인구 전체를 나눠서 분석했다.)
테스트 형식
크게 3가지이며, 각 단계의 실험은 점진적으로 이루어진다.
1. 같은 컨텐츠에 다른 이미지 노출
cell 2, 3가 default에 비해 클릭률이 높은 것을 확인하고, 고객들이 이미지에 민감하다는 사실을 알게되었다. 그래서 다음 단계의 실험에서 더 많은 컨텐츠에 유사한 효과를 낼 수 있는지 알아보고자 했다.
2. multi-cell explore-exploit test
explore-exploit 테스트 집단
explore-exploit 테스트 연결성 다이어그램
결론적으로 이미지의 여러 변형을 테스트를 통해 컨텐츠 조회율을 크게 높였으며 총 스트리밍 시간도 늘릴 수 있었음을 확인했다.
3. single cell title level explore test
2번 실험보다 범위를 줄여 하나의 컨텐츠의 이미지와 제목을 동적으로 노출하여 각 작품에 대한 옵션을 모두 A/B 테스트를 수행한다.
EX) Dragons: Race to the Edge - 아래 두 개의 이미지가 다른 이미지보다 지표가 뛰어났다.
A/B 테스트 결론
이미지를 통해, 클릭률, 총 재생 시간을 증가시킬 수 있다는 가설을 증명했다. 더불어 제목의 톤을 유지하는 얼굴이나 감정이 있는 이미지가 콘텐츠 접근성을 높인다는 흥미로운 사실도 발견한다.
인사이트
넷플릭스의 점진적인 A/B 테스트를 보면서, 어떻게 A/B 테스트의 가설을 검증하고 진행해 나아가야하는지 이해할 수 있었다.
참고 Selecting the best artwork for videos through A/B testing
티빙의 A/B 테스트
개선 포인트
수많은 콘텐츠 홍수 속에 어떤 콘텐츠를 봐야 할지 결정 장애를 일으킬 정도로 혼란스러울 경우가 발생한다는 것을 발견한다. 이러한 과정에서 콘텐츠 포스터가 고객에게 선택을 돕는 결정적인 역할을 하게 되기 때문에 포스터의 아트웍 또한 UX적으로 접근하여 고객의 선택을 도울 수 있도록 조금 더 깊이 있게 고민하게 되었다.
가설
스크린이 작은 모바일 환경에서도 포스터를 구성하는 요소들(콘텐츠 로고 타이틀, 배경 이미지)이 명확하게 인지 된다면, 컨텐츠 선택률이 높아질 것이다.
기간
3차로 진행했고, 짧은 기간 시행한 것으로 예상한다.
타겟
모바일 티빙 이용자
테스트 형식
1차 테스트
크레딧 및 마케팅 메세지 등 로고 타이틀 외 모든 문구를 제거하고 로고 타이틀을 시인성 있게 배치하여 온라인용으로 포스터 최적화
결과적으로 대상 콘텐츠의 선택률이 이전에 비해 105% 높아졌다. 또한 메인 배너와 추천 띠 등에서 추가 노출이 있었던 콘텐츠는 더 높은 효과가 나타났다.
2차 테스트
1차 테스트 대상 콘텐츠 가운데, 포스터 내 인물이 2인 이상인 경우를 선별해 캐릭터 단독형 또는 장르와 스토리라인이 느껴지는 이미지를 활용한 연출형으로 추가 테스트를 진행
결과적으로 1차 테스트 대비 5.5% 상승된 효율을 보였다. 캐릭터 단독형으로 제작되면 효율이 더 좋을 것이라는 예상과 다르게 메인 포스터 기준 1차 효율이 더 높은 작품들도 있었다.
인물 간의 관계와 연관성이 중요한 콘텐츠의 경우, 캐릭터 중심의 단독 컷보다는 메인 포스터 기준의 1차 전환작의 효율이 높은 것으로 보이며, 장르와 스토리라인이 두드러진 콘텐츠의 경우 주요 캐릭터가 강조된 유형 또는 장르/스토리로 연출된 유형인 2차 개선작 효율이 더 높은 것으로 예상된다.
추가 테스트
2차 개선 진행 시 발견했던 인사이트를 정교화하기 위해 다른 캐릭터로 교체하거나 장르와 상황을 고려한 또 다른 연출 컷으로 추가 테스트를 진행
그 결과 아래의 경우에 보다 높은 효율을 얻을 수 있다는 추가 인사이트를 얻게 되었다.
- 호감도가 높거나 화제성 있는 인물로 제작된 포스터
- 블랙에 가까운 어두운 배경 색의 OTT 서비스 환경에서 조금 더 눈에 띄는 밝은 색상의 이미지가 활용된 포스터
- ‘액션’ 장르의 콘텐츠의 경우 인물의 표정과 역동적인 움직임이 포착된 이미지가 사용된 포스터
- 인물의 얼굴 식별이 가능하고 표정이 두드러진 포스터
인사이트
모바일 환경을 고려한 A/B 테스트도 진행할 필요성을 강하게 느꼈다.
참고 끌리는 포스터는 무엇이 다른가
내가 OTT서비스 PM이라면?
우선은 A/B 테스트를 진행해본적이 없는 나로써는 앞선 넷플릭스와 티빙의 A/B 테스트 과정들이 너무 완벽해보였다. 그래서 어떤 테스트를 해야하는지 좋은 아이디어가 떠오르지는 않았다. 그래서 만약 넷플릭스와 티빙의 4번째 단계의 A/B 테스트를 실행한다면 어떤 포인트를 잡아서 해야하는지 고민해봤다.
공교롭게도 두 서비스 모두 포스터의 '얼굴 톤'이 가져오는 긍정적인 효과에 대한 결론을 냈다. 나는 이 결론이 결국 '스토리'를 상상하게끔 하는 포스터에 사용자가 흥미를 느끼는 것이라고 생각했다.
그렇다면 OTT 서비스 포스터에 숏츠형태로 그 컨텐츠를 궁금하게 만드는 스토리를 전달하면 어떨까? 라는 아이디어를 생각해봤다. 이 아이디어는 티빙의 한 포스터 폼을 보고 떠오른 아이디어이기도 하다.
티빙은 최근 위 사진과 같은 크기의 포스터를 제공하기 시작했다. 유튜브 숏츠 사이즈에 길들여진 나는 누르면 동영상이 나올 줄 알았다. 하지만 바로 콘텐츠 를 감상할 수 있는 페이지로 연결됐다. (아마 이걸 노린 것 일 수도 있겠다.)
이런 경험을 통해, 눌렀을 때 숏츠처럼 영상(예고편)이 나온다면 그 영상으로 컨텐츠 시청률을 높일 수 있지 않을까 생각했다.
그래서 만약 내가 넷플릭스와 티빙의 4번째 단계의 A/B 테스트를 맡았다면, 이미지에서 나아가 숏츠 형태의 영상 폼을 통해 컨텐츠 접근 경험을 긍정적으로 만들 수 있는지 테스트해보고 싶다고 생각했다.
A/B 테스트 정보 수집
티빙 테크 블로그 / 넷플릭스 테크 블로그
그로스 블로그 1 / 그로스 블로그 2 / 그로스 블로그 3
넷플릭스 A/B 테스트1 / 넷플릭스 A/B 테스트2
티빙 A/B 테스트 1 / 티빙 A/B 테스트 2
