이번 시간에는 한기용 강사님께서 유데미에서 AB테스트 시스템을 구축하고 추천엔진 검증에 사용했던 경험을 강의해주셨다.
타임라인 : 총 10개월
- 먼저 AB 테스트 시스템을 구축 했다.
- 기존 Optimizely(ab테스트 도구)를 걷어내고 자체 구축 진행
- 런타임 시스템 구축 : 다른 엔지니어링 팀과 협업
- A/B 테스트 분석 시스템 구축 : 데이터 엔지니어들과 분석가들이 협업
- 다음으로 A/A 테스트 수행
- 총 20번의 A/B 테스트를 통해 ML 기반 추천엔진 론칭
- 기존 추천 방식은 마케터 중심의 규칙 기반 추천(마케터가 팔아야 되는 강의를 추천하는 식.)
- 12%의 매출 등대 확인. 더 중요한 부분은 모든 것이 자동화 되었다는 점이다!
위의 과정을 보면 A/B 테스트 이후 결과를 토대로 강의 추천 방식을 변경한 모습을 볼 수 있다.
실제로 회사 내부에서 기존 시스템을 변경할때에 반발이 발생할 수 있기 때문에
데이터를 기반으로 의사결정을 요구하는 것이 좋을 듯 하다.
A/B테스트 대시보드 구현
위의 결과물로 아래와 같은 대시보드가 구현 되었다.
맨 위의 그래프의 경우 A/B 사용자 수로 초록선과 바그래프가 함께 있으면 50:50으로 잘 나뉜것을 의미한다.
이후 사용자별 메타데이터를 통해 각 지표가 어떤식으로 변경되었는지 확인 할 수 있다.
LV. 1