넷플릭스의 의사결정

Decision Making at Netflix

넷플릭스의 UI 변화

2010년대의 넷플릭스 메인 UI는 정적인 화면 구성으로 넷플릭스 사업의 시초인 DVD 대여점의 디스플레이에서 영감을 받은 화면 구성이었다. 최근의 넷플릭스는 첫 화면에서 비디오를 플레이하는 동적인 화면구성을 가진다.

• 2010년 UI
  
• 최근 UI
  

이러한 화면변경 작업이 수행되기위해 Netflix 내부에서 아래와 같은 수많은 의사 결정을 내려야했을 것이다.

• 기존 빨간띠에 넷플릭스 로고가 차지하던 상당 부분의 공간 설정
• 정적 이미지 -> 동적 비디오 재생
• 제한된 네트워크에서 해당 비디오 재생을 어떻게 원활하게 제공할지
• 탐색(일명 햄버거 바) 메뉴는 어디에 할당할지
• 탐색 메뉴는 어떻게 구성할지
• 등등..

이러한 의사결정은 어떻게, 누가 내리는 것일까?

우선, 넷플릭스에서 말하는 의사결정의 나쁜예를 알아보자.

의사결정 망하는길

1. 리더가 모든 결정을 내리기
2. 디자인, 제품 관리, 사용자 경험(UX), 스트리밍 등 다양한 분야의 전문가를 고용하고 각각의 아이디어를 받아들이기. (사공이 많으면 배가..)
3. 내부 토론을 진행하고 가장 자기주장이 강한(카리스마있는) 동료의 의견 수용하기
4. 경쟁사 모방하기

이렇게만 하면 bad decision을 내릴 수 있다!

그러면 이런 사항들을 어떻게 결정하면 좋을까?
바로, 해당 서비스를 사용하는 이용자들이 직접 경험해보고 피드백을 주는 것이 좋은 방법이다.

Netflix의 의사결정 방법

• A/B 테스트, 준실험(Quasi-experiment), 인과추론 방법
• 아래 과정을 반복하며 디벨롭
  • 가설설정 - 데이터수집(가설 뒷받침 or 반박) - 결론 - 새로운 가설 도출

A/B 테스트, 사용자경험, 데이터를 기반으로 서비스의 방향을 결정하며 진화하는 방식이다. 해당 포스팅을 통해 A/B 테스트에대한 워밍업을 해보았다. 다음 포스팅은 A/B 테스트가 뭔지, 왜 하는지, 어떻게 하는지, 결과에대한 해석 방법, 지표 등등.. 에대해 작성할 예정이다.

마지막으로 짧게 다룰 개념이 아니지만, 간단히 준실험 설계와 인과추론에대해 알아보자.

준실험 설계(Quasi-experiment)란?

• 완전 랜덤화, 통제가 불가능한 상황일때 인과관계를 파악하는 방법

인과 추론(causal inference)이란?

• 상관은 인과가 아니다
  ex) 아이스크림이 많이 팔릴 수록 익사로 사망하는 사람이 늘어난다
  ex) 이상한 자세로 자서 목이 아프다
  • 현실 세계에서 변수가 많아질수록 인과관계는 불투명해짐.(진짜 이상하게 잤을까? 아침에 옷을 입다가 삐긋한건 아닐까? 만성질환이 있던 걸까?)
    ⇒ 상관을 보이는 것은 쉽지만 인과는 아님.
• 인과에 대하여 < The Book of Why >
  
  • 연관(Association) = P(y|see(x)) : x를 보는 것이 y에 대한 믿음을 바꿀까?
    → 통계적 관계. 대부분 머신러닝 시스템이 동작하는 수준
  • 개입(Intervention) = P(y|do(x)) : x를 하면 y에 변화가 일어날까?
    → 강화학습 시스템이 정의된 환경 안에서 동작하는 수준
  • 반사실(Counterfactulas) = P(y_x|x’,y’) : x를 안했더라도 y가 일어났을까?
    → 일종의 상상

출처 : Netflix Technology Blog
추천 : 상관관계와 인과관계