기초통계 (18) A/B 검정

📈 A/B 검정이란?

• A/B검정은 두 가지의 처리방법, 제품, 절차 중 어느 쪽이 다른 쪽보다 더 우월하다는 것을 입증하기 위해 실험군을 두개로 나누어 진행하는 실험으로 하나는 기존의 방법 혹은 어떠한 처리도 하지않은 대조군 그룹이고 하나는 새로운 처리방법을 채택한 처리군 그룹이라고 부른다.
• 주로 웹 디자인, 마케팅 에서 주로 사용된다.
• 예를 들어, 두개의 인터넷 광고를 송출하여 어느 것이 더 전환율이 높은지를 측정하는것, 가격을 두가지로 나누어 판매를 했을때 판매율과 순수익, 암을 더 효과적으로 억제하는 두가지 치료방법 검정등이 있다.
• 그룹 A와 그룹 B를 비교하는 데 사용하는 검정통게량 또는 측정 지표에 주의를 기울여야한다.
• 일반적으로 웹상에서 클릭/ 클릭하지않음, 구매/ 구매하지않음 과 같은 것으로 2 X 2표로 요약가능하다.

📈 용어정리

• 처리 : 어떤 대상에 주어지는 특별한 환경이나 조건(약, 가격, 인터넷 뉴스제목)
• 처리군 : 특정 처리에 노출된 대상들의 집단.
• 대조군 : 어떤 처리도 하지않은 집단
• 임의화 : 처리를 적용할 대상을 임의로 결정하는 과정
• 검정통계량 : 처리 효과를 측정하기 위한 지표

📈 대조군을 사용하는 이유

• 대조군이 없으면 특정한 하나의 처리 외에 다른 것들이 동일하다는 보장이 없기때문에 다른요소가 추가 될 수 있다.
• 그리고 일반적인 A/B검정을 할때는 미리 하나의 측정지표를 결정해놔야한다. 실험을 수행하고 이후에 검정통계량을 선택한다면 연구자의 편향에 빠질 수 있기 때문이다.

📈 A/B검정이 유일할까??

• 통계와 데이터과학자의 입장과 생각의 차이가 있다. 예를들어 통계학자의 경우
  "가격 A와 가격B의 차이가 통계적으로 유의한가?" 에 대한 질문에 관심이 있을것이고 데이터 과학자는 "가능한 여러 가격중 가장 좋은 가격은 얼마일까?" 에 조금더 관심이 있을것이다.
• 따라서 이러한 경우는 '멀티암드 밴딧"과 같은 새로운 유형의 실험 설계가 필요하다.

📈 A/B검정의 문제점(단점)

• 테스트를 하는데 오래걸리고 비용이 많이든다.(결과가 나올때까지 기다려야한다.)
• A안이 훨씬 좋았다면 테스트하는 기간동안 B안으로 인한 손해를 보게된다.
• A안이 좋았는데 일주일이 지나고 B안이 더 반응이 좋아졌을경우
• Sequential Decision Making에 활용하기 불편(A,B,C비교해야할때 A,B를 비교후 한번의 비교를 더 해야한다.)

📈 A/B검정 이후 통계검정

• 웹페이지 A안과 B안을 A/B테스트를 통해 차이가 있다는 것을 알게되었다고 가정해 보자.
• 그렇다면 이 차이가 실제로 유의미한 차이인지 우연에 의한 차이인지 검정을 해봐야한다.(가설검정)
• 그렇기 위해서는 두가지 방법이 있는데 T검정을 통해 두 안건의 평균의 차이가 유의미한차이인지 확인하는 방법과 순열검정을통해 유의미한 차이인지 확인하는것이다.
• 순열검정은 비모수적 검정이고, T검정의 경우 모수적 검정이기 때문에 정규성 검정을 먼저 하고 정규성을 띄지 않는다고 판단되면 비모수 검정인 순열검정, 정규성을 띈다면 모수검정을 하면된다.
• 일반적으로 30개 이하는 정규분포를 띄지 않을가능성이 높은데 이때 는 순열검정을 쓰는이유가 재표본추출(RESAMPLING)을 통해 표본을 계속해서 만들어주기 위함이다.