[241018] 아티클 스터디

선정 아티클

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은?

요약

[아티클 요약 및 주요 내용]

• 요약 : 아티클의 핵심 내용을 요약해보세요.
  🡆 A/B 테스트는 단순히 '어느 게 더 효과가 좋은가'를 보는 게 아니다.
• 주요 포인트 : 아티클에서 강조하는 주요 포인트는 무엇인가요?
  🡆 표면상의 질문 뒤에 숨은 진짜 질문 찾기

A/B 테스트 설계 시 표면상의 질문 뒤에 숨은 의도들
1) 암묵적으로 A/B 테스트를 할 때 두 실험 결과의 차이가 상당히 크거나 확실하길 기대함

• 두 그룹의 결과 차이가 1%밖에 나지 않으면 이는 유효한가?
  2) 실험 진행이 공정하길 바람
• 공정함의 실체가 무엇인지 모르면서 진행이 공정하길 바람
• 실험 배경이 5:5로 동일하다는 착각
  - 최대한 트래픽을 균등하게 나누려고 했지만, 어떠한 이유로 두 그룹에 노출되는 비율에 차이가 생겼다면 비교를 하는 것이 옳은가?
  3) 실험의 결과가 이례적이거나 우연이 아니길 바람
• 실험마다 결과가 다르다면 실험을 믿을 수 있는가?

A/B 테스트를 설계하거나 진행할 때 "진짜" 우리가 지닌 질문
"이번 며칠 동안 모은 트래픽/고객에 대해서만 유효한 게 아니라 앞으로도 & 해당 유형의 모든 고객에게 A안과 B안 중 어느 게 '확실하게' 효과가 좋을까? 이 결과가 정말 A와 B의 차이 때문에 생긴 게 맞나? 이 결과가 우연이 아닌 걸까?"
→ A/B 테스트의 설계와 결과 해석을 단순하게 (1) 트래픽을 절반으로 나누거나 (2) 변수를 하나만 두거나 (3) 더 나은 결과를 보여주는 방안을 선택해서 배포하는 식으로 정의할 수 없게 됨

[핵심 개념 및 용어 정리]

• 핵심 개념: 아티클에서 언급된 중요한 개념을 정리하세요.

• 용어 정리: 생소하거나 중요한 용어의 정의를 적어보세요.

• 핵심 개념 : AB테스트

• 용어 정리 :

  • AB 테스트
    • 분할 테스트 또는 버킷 테스트라고도 함
    • 마케팅과 웹 분석에서, A/B 테스트는 두 개의 변형 A와 B를 사용하는 종합 대조 실험
      • 두 가지 콘텐츠를 비교하여 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인
    • 통계 영역에서 사용되는 것과 같은 통계적 가설 검정 또는 "2-표본 가설 검정"의 한 형태
  • 트래픽
    • Server와 Client가 주고받는 데이터의 양(데이터 이동량)
    • 사이트(Server)에 접속자(Client)가 접속하거나 파일을 업로드 또는 다운로드할 때 발생
    • 온라인 마케팅 및 웹 분석 맥락에서 트래픽은 웹사이트, 모바일 앱 또는 기타 디지털 플랫폼에 액세스하는 방문자 또는 사용자 수를 의미

• 통계적 가설 검정(statistical hypothesis test)

  • 모집단 실제의 값이 얼마가 된다는 주장과 관련해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정
  • 표본에서 얻은 사실을 근거로 하여 모집단에 대한 가설이 맞는지 통계적으로 검정하는 분석방법
  • 검정: 증명된 바 없는 주장이나 가설을 표본 통계량에 입각하여 주장이나 가설의 진위 여부를 판단, 증명, 검정하는 통계적 추론 방식

• 2-표본 가설 검정

  • 알 수 없는 두 그룹 모집단 평균이 같은지 여부를 검정하는 데 사용되는 방법

[(선택)실무 적용 사례]
아티클에서 다룬 분석 방법을 실제 업무에서 어떻게 적용할 수 있을까요?
관련 사례를 찾아보거나, 가상의 시나리오를 만들어보세요.

• 실무 적용 : 개인화 추천 시스템 등
• 관련 사례 : 쿠팡의 AB 테스트, 롯데ON AB 테스트, 부킹닷컴 AB 테스트
• 가상 시나리오 :

인사이트

해당 아티클을 읽고 새롭게 알게 된 것, 앞으로 나의 방향성에 대한 회고가 있다면 적어주세요. 인사이트가 가장 중요합니다.

• 기업에서 많이 사용하니 AB 테스트에 대해 정확하게 알아둬야겠다는 생각