[241114] 아티클 스터디

선정 아티클

A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석

요약

[아티클 요약 및 주요 내용]

요약 : 아티클의 핵심 내용을 요약해보세요.

• 고객의 반응은 우리의 기대, 예상과는 종종 다르기 때문에 '양측 검정(two-sided)'을 진행하는 게 조금 더 보수적이고 안전함
  • 단측 검정으로 진행할 때와 양측 검정으로 진행할 때의 차이 이해
    • 단측 검정이었으면 '차이가 유의미하지 안다'라는 결과가 양측 검정에서는 '차이가 유의미하다'라는 내용으로 나올 수 있음
      → 관점에 차이가 있기 때문

🡆 과학 연구 실험이 아닌 '비즈니스'의 실험임을 명심
⇒ 설계, 수행, 해석이 과학 연구 실험과는 궤가 다름

단측 검정 vs. 양측 검정
: 양측 검정이 조금 더 보수적인, 안전한 접근인 이유
🡆 신뢰 수준, 유의 수준, P-value에 대한 이해가 필요

• 신뢰 수준 Confidence를 90%로 세팅했다고 가정:
  • 우리가 실험에 기대하는 내용
    • 실험을 100번 한다고 가정했을 때 90번은 우리가 기대하는 구간 내의 값이 나옴
    • 나머지 10번까지는 우리가 기대하는 구간 바깥의 값이 나와도 괜찮음
    • 즉, 10번까지는 이 실험의 결과가 '우연'에 기대도 됨(우연이 10번만 안 넘으면 됨)
  • 단측 검정으로 진행했을 경우
    • 100번 중 10번까지는 우연에 의한 결과가 나와도 OK
    • 하지만 우리는 "어느 한쪽이 더 크다(or 작다)"라는 추측을 테스트 중 → 10번의 우연은 더 클 것(or 작을 것)이라고 생각한 쪽이 실제로는 그렇지 않은 경우를 뜻함
    • 즉, 100번 중 90번은 더 커야(or 작아야) 하고 10번까지는 그러지 않아도 됨
  • 양측 검정으로 진행했을 경우
    • 10번의 우연 허용권을 '더 크다'와 '더 작다'에 각각 5번씩 줌 → A와 B에 '차이가 있다'는 가정만 가지고 있지, 어느 쪽이 더 크거나 작을지는 모르기 때문
      (양쪽 어느 쪽으로도 차이가 없는 경우를 5번+5번 = 총 10번까지 봐줌)

🡆 어느 한쪽으로 결과가 무조건 나올 것이라는 보장이나 기대가 없는 상황에서 단측 검정을 하면 차이는 있지만 더 큰 게 아니라 기대했던 것보다 작은 경우(혹은 반대의 경우) '우연'으로 계산됨

🡆 결과가 우연인지 아닌지 파악해야 함 → 매일 또는 매번 A/B 테스트에 노출되고 있는 일부는 서로 다른 사람들이 모인 일부라서 그 결과가 매번 다를 수도 있음 → 도출된 결과가 실험 덕분에 생긴 결과인지 우연인지 등을 P-value와 유의 수즌을 통해 비교 및 확인해야 함

주요 포인트 : 아티클에서 강조하는 주요 포인트는 무엇인가요?

• A/B 테스트 결과를 알 수 있는 계산기 세팅 및 해석
  : AB Testguide

  • Test Data
    • 각 그룹의 표본 크기(Visitors)와 그룹별 최종 전환 숫자(Conversions)
  • Setting-Hypthesis
    • 단측 검정
      • 두 그룹에 차이가 있다는 전제 하에 특정 한쪽이 무조건 우세하다고 생각한 경우
    • 양측 검정
      • 두 그룹에 차이가 있긴 있는데 어느 쪽이 우세할지 모르겠으니 열어놓고 보겠다 생각한 경우
  • Setting-Confidence
    • 똑같은 실험을 100번 했을 때 그중 몇 번의 "우연"을 봐 줄 것인가에 대한 설정
  • 세밀한 분석이 필요하면 99%까지도 설정할 수 있지만 보통 95%로 충분하다고 함

• 결과 해석

  • P-value가 0.05(=5%) 이내라면 유의미하고, 이보다 크면 유의미하지 않다고 판별
  • Test Result가 'not significant'한 경우
    • 애초에 두 그룹 사이에 별 차이가 없거나
    • 제공된 표본의 크기가(데이터 양이) 작아 판단이 어려움(누가 더 나은 건지, 이번에만 우연히 이런 건지 알 수 없음)

[핵심 개념 및 용어 정리]

• 핵심 개념: 아티클에서 언급된 중요한 개념을 정리하세요.
• 용어 정리: 생소하거나 중요한 용어의 정의를 적어보세요.

• 핵심 개념:

  • A/B 테스트
  • 신뢰 수준

• 용어 정리 :

  • 트래픽
    • 사이트를 방문하는 사용자 수
    • 디지털 공간을 찾는 고객들의 발자국 → 많은 사람들이 사이트를 방문할수록, 그만큼 해당 사이트의 온라인 존재감이 커진다

[(선택)실무 적용 사례]
아티클에서 다룬 분석 방법을 실제 업무에서 어떻게 적용할 수 있을까요?
관련 사례를 찾아보거나, 가상의 시나리오를 만들어보세요.

지난 아티클과 동일해서 생략

인사이트

해당 아티클을 읽고 새롭게 알게 된 것, 앞으로 나의 방향성에 대한 회고가 있다면 적어주세요. 인사이트가 가장 중요합니다.

• 각 그룹의 표본 크기(Visitors)와 그룹별 최종 전환 숫자(Conversions) → '최종 전환 숫자'에 어떤 것들을 넣을 수 있을까?
  • 일단 아티클에서는 '트래픽'을 넣었는데 클릭한 숫자나 구매 금액 같은 걸 넣어도 되는 걸까?