Culture of Experimentation: 클래스101은 어떻게 AB테스트를 한 달에 100개씩 돌리게 되었나?
실험 속력을 높이는 일이란 현실에서는 우선 구현/실행 난이도가 낮은 가설들에 집중하게 된다는 얘기다. (아 물론 끝없는 인적자원을 갈아 넣는다는 얘기가 되는 경우도 있..) 혹시나 최종 지표에 끼치게 될 임팩트가 덜 커 보이더라도, 그 가설의 성공 가능성이 덜 높아 보이더라도, 구현 난이도가 낮은 것들을 우선 런칭함으로써 보다 많은 실험을 파이프라인에 올릴 수 있게 된다.
주기에 돌아가는 실험이 많아진다는 것은 타자가 더 많은 타석에 오르는 것이고, 성공하는 실험의 총개수가 늘어난다는 뜻이며, 분석할 수 있는 실험 결과들이 늘어나고, 더 나아가 실패하는 실험에 대해 무감각해진다는 얘기다. 이는 궁극적으로 조직 내에서 실험의 민주화(democratization) 와 대중화(popularization) 상황을 만든다.
HBR Article: 실험이 일상적인 조직문화 만들려면
실험이 일상적인 조직문화 만들려면.pdf
(아티클 내내 인용되는 부킹닷컴 사례가 인상적이다.)
회사가 온라인실험 역량을 확장하려 할 때 직면하는 장애물은 주로 툴과 기술이 아니라 공유 행동, 신념, 가치였음이 드러났다. 실험 한 건이 성공할 때 거의 열 건은 실패한다. 효율성, 예측가능성, ‘승리’를 중요시하는 대부분의 조직의 시각에서 바라보면 ‘실패는 곧 낭비’다.
하지만 아주 많은 실험을 진행하면 성공률이 낮더라도 여전히 꽤 많은 수의 성공 사례를 얻게 되고, 따라서 실패에 따른 재무적·감정적 비용이 낮아진다.
= 많은 실험을 한다. 아주 많은 실험을 한다. 더 많은 실험을 한다. 개인의 삶에 적용하자면 구직할 때 아~주 많은 지원(실험)을 하면 탈락(실패)에 따른 감정적 비용이 낮아진다. 실패를 낭비라고 생각하지 말자. 실패하는 실험에 대해 무감각해질 필요가 있다.
