[66일차]A/B Test란 무엇인가?

A/B Test란,
실제 사용자를 대상으로 새로만든 모델을 노출함으로써
기존 모델과 비교 평가하는 방법

좀 더 구체화 해서 설명해보자.

A/B Test란

• 객관적으로 새로운 기능이나 변경을 측정/비교하는 방식
• 큰 위험없이 새로운 기능을 테스트하고 빠르게 배우는 방법이다.
• 보통 서비스내의 다른 영역을 테스트하는 A/B Test들은 독립적이라 생각하고 다수의 AB Test를 동시에 실행하는 것이 일반적이다.

EX) 검색창을 늘리면 검색 유입률이 더 높아지지 않을까?

가설없는 A/B Test는 불가하다.

A/B Test란 기본적으로 가설을 실험하고 검증하는 것이다.

• EX) 새로운 추천방식이 기존의 추천방식보다 매출을 증대시키는가?
  • 어떤 지표에서 어느 정도의 임팩트가 예상되는가?
  • 가설을 나중에 결과에 비교하면서 생각지 못했던 다양한 배움이 생긴다.
• EX) 상품 체크아웃 페이지의 스텝을 줄이면 결제가 더 올라가는가?
  • 스텝을 줄이면 정말 매출이 올라가는가?
  • 사용자 관점과 개발자 관점은 굉장히 다룰 수 있다.
    • 유데미의 경우
      강의가 비쌀 경우 - 스텝이 길 수록 매출이 늘었다.
      강의가 저렴할 경우 - 스텝이 짧을 수록 매출이 늘었다.

---

A/B Test를 사용하면 안되는 경우

1. 데이터가 없는경우
2. 버그 수정을 임팩트를 측정하는 경우
   1. 회사에서 쓸데없는 계산을 하는 경우
   2. 빨리 고치는 것이 중요하다.
3. 아직 구체적이지 않은 가설을 가지고 아이디어 테스트의 경우
4. 가설없이 굉장히 랜덤한 아이디어 테스트
5. 비교대상없이 굉장히 새로운 기능 테스트