5장은 A/B 테스트 관련 내용이었다. 책에서 말한대로 A/B테스트는 local optimization을 찾는 과정일 뿐이지만, 가장 널리 쓰이는 방법 중 하나인 것 같다. 설계 시 고려사항에 가장 공감가는 부분이 많았는데, 읽으면서 생각했던 것들 위주로 간단히 정리를 해보았다.
홀짝 랜덤 샘플링
회원 번호나 결제 번호 등을 홀/짝으로 나눈 것으로 실험 집단을 랜덤하게 구분했다고 오해하는 경우가 많은데, 통제 변수를 깊이 고민하지 않은 상태에서 단순히 홀/짝 구분을 한다고 해서 랜덤 샘플링이 잘 됐다고 볼 수는 없다.
-그로스 해킹, p.198
A/B 테스트할 때 홀/짝으로 나누는거 우리만 그러는게 아니었구나. 별도의 랜덤추출 방법을 쓰기도 하지만, 시간 관계상 그냥 홀/짝으로 돌렸던 경우도 꽤 있었다. 홀짝으로 나누더라도 두 그룹 간 주요 변수들 사이에 유의적 차이가 있는지/없는지 정도는 확인하고 진행하는게 좋을 것 같다.
테스트 기간 - 어뷰징이 될 수도, 새로운 인사이트가 될 수도
엿보기+조기중지와 시간의 흐름에 따른 차이를 살펴보는 부분도 인상깊었다. 어뷰징 행위가 될 수 있다는 것에도 공감이 갔다. 시간의 흐름에 따라 종속 변수 평균이 달라지는 케이스가 있다면, 나름 의미있는 인사이트를 도출할 수 있지 않을까 한다. 정말 사용 흐름 상 시간에 따라 종속변수가 달라지는 거라면, 유저의 사용 패턴을 확인하고 다음 A/B 테스트를 설계하는 것에도 도움이 되지 않을까 한다. 실제로 메세지/변화 사항에 바로 반응하는 유저도 있고, 시간이 지난 후에 반응하는 유저도 있을테니 말이다.
진짜 그로스 조직이 되기 위해...
내가 속해있는 조직은 대기업이고, 서비스 규모나 유저 수로 따지자면 이미 많이 충분히 크지만, 비즈니스 목표 상 특정 플랫폼으로 기존 유저들을 유입시키는 일을 담당하고 있기에 어찌 보면 그로스 조직이라고 할 수도 있을 것 같다.
데이터 기반으로 실험을 하고, 이 플랫폼을 성장시키기 위해서는 좀 더 분석이 편하도록 분석용 마트를 개선하고, 기존 구성원들이 쌓아온 여러 도메인 지식과 경험들을 합쳐서 실험을 설계해보고 싶다. 내 마음대로 되진 않겠지만, 기회가 된다면 이러한 방향으로 개선해보면 좋을 것 같다. :) 그로스 해킹 끝
