당근마켓의 채용페이지를 둘러보던 중 아래와 같이 'A/B 테스트' 라는 단어가 등장해 해당 내용에 대하여 알아보고자 한다.

A/B 테스트란?

위키백과에서는 "마케팅과 웹 분석에서, 두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment)이다." 라고 정의 되어 있다.

예를 들면, 위와 같이 웹사이트의 방문자들에게 "Learn more"버튼만 다르게 디자인한 2가지 웹사이트를 무작위로 보여주면서 어떤 페이지를 방문한 사람들이 클릭을 많이 하는지 테스트하는 것이다.

왜 A/B 테스트를 해야 하는가?

미국 대선에서 오바마의 선거캠프는 500건의 A/B 테스트를 통해 기부 전환율을 49% 올렸고 이메일 수집률을 161%나 증가시켰다는 이야기는 유명합니다. 작은 UI의 변화지만 끊임없이 테스트를 하고 적용하여 큰 효과를 얻었습니다.

A/B 테스트를 수행 시 주의점

  1. A/B 테스트의 결과는 통계적으로 의미가 생겨야 하므로, 충분한 Sample을 확보할 수 있어야 합니다.
  2. 외부 요인에 결과가 좌우되지 않도록 테스트를 설계해야 합니다. 예를 들어, 버튼의 모양을 바꾸는 것이 A/B 테스트의 대상이라면, 버튼 모양을 제외한 모든 것이 동일해야 합니다.
  3. 테스트가 수단이 아니라 목적이 되어버리면 안됩니다. 애플이 A/B 테스트에 부정적인 것은 대중의 선호를 따라가게 되면 '통합된 전체'라는 느낌을 전달하는 제품을 개발하지 못하기 때문이라고 합니다.

레퍼런스

profile
다시 도약하려 노력해보자

0개의 댓글