전체적인 A/B Test 프로세스

A/B Test의 큰 틀

1. 가설 설립

아래 내용을 미리 측정해본다.

• 왜 필요한지
• 어떤 효과가 있을지
• 성공 확신도
• 어떤 이슈가 발생할 지
• 누가 이 서비스를 원할지

1. 해당 내용을 기준으로 PPT를 진행하고 승인이 되면 QA가 진행 됨.
2. 사용자의 기준을 설립하고 Test 부분을 조금씩 노출 시킴.
   1. 보통 트래픽을 기준으로 진행
      EX)1%의 트래픽에는 버튼을 빨간색으로 변경해서 노출!
3. 이슈없이 잘 돌아간다면 노출되는 트래픽의 퍼센테이지를 높이는 식으로 진행하면서
   결국 트래픽 50:50으로 퍼센테이지를 높였다면 각 그룹을 비교.
4. 기존 모델과 새로운 모델의 효과를 비교 분석.

---

A/B Test 환경

• 코딩없이 A/B 테스트를 진행 가능하게 하는 것이 목표

  • 자주 하는 A/B 테스트들은 코드 템플릿화가 가능하다.
  • 보통 테스트하는 기능을 백엔드단의 flag로 관리하는 것이 일반적이다.
    • flag가 True이면 테스트 세팅!
      False면 테스트 아웃!

• A/B 테스트 테이블

  

각 A/B 테스트에 대한 정보들이 있다.