[241112] 아티클 스터디

선정 아티클

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기

요약

[아티클 요약 및 주요 내용]

요약 : 아티클의 핵심 내용을 요약해보세요.

• A/B 테스트를 할 때 우리가 가정한 진짜 질문에 관한 답을 제대로 얻기 위해서는 기초 통계 지식의 활용이 필요함
  • '목표를 달성하기 위한 방안으로 A, B 중 어느 게 더 효과가 좋은가?'는 표면상의 질문일 뿐 핵심이 아님
  • A/B 테스트의 설계와 결과 해석은 단순하게 정의할 수 없고 핵심을 이해하기 위해서는 기초 통계를 알아야 함

A/B 테스트 설계, 실행, 해석 시 고려 요소
🡆 모집단과 표본 → '일부(표본)'를 통해 '전체(모집단)'에 대해 추론 가능: 아무리 일부일지라도 숫자가 충분하면 일부를 통해 전체에 대해서 추측, 추론, 추정할 수 있음
⇒ 이건 정확하게는 일상 속 모든 통계적 추론에 숨은 대전제에 가까움

🡆 귀무가설과 대립가설 → 차이가 있다/없다

🡆 양측 검정과 단측 검정 → 차이가 있긴 있되 어드 특정 방안이 승리 또는 패배할 것이라 가정하면 단측, 단순히 차이가 있을 것이라고만 가정하면 양측

🡆 실험 결과도 결국 '추측'이므로 100%가 아님 → 추측이 '어느 정도로 신뢰할 수 있는지' 알려줘야 함: 신뢰 구간

🡆 결과가 우연인지 아닌지 파악해야 함 → 매일 또는 매번 A/B 테스트에 노출되고 있는 일부는 서로 다른 사람들이 모인 일부라서 그 결과가 매번 다를 수도 있음 → 도출된 결과가 실험 덕분에 생긴 결과인지 우연인지 등을 P-value와 유의 수즌을 통해 비교 및 확인해야 함

주요 포인트 : 아티클에서 강조하는 주요 포인트는 무엇인가요?

• A/B 테스트 설계 및 결과 해석에 필요한 기초 통계 개념
  • 모집단과 표본
  • 귀무가설과 대립가설
  • 양측 검정과 단측 검정
  • 신뢰 수준 → '추측이 어느 정도로 신뢰할 수 있는가?'에 대한 답이 필요함
  • P-value와 유의 수준을 통한 비교 및 확인 → 결과가 우연인지 아닌지 판단

🡆 가설을 통한 실험은 우연히 발생할 수밖에 없기 때문에 적절한 기초 통계를 활용해 원하는 답을 찾기 위해 노력해야 함

[핵심 개념 및 용어 정리]

• 핵심 개념: 아티클에서 언급된 중요한 개념을 정리하세요.
• 용어 정리: 생소하거나 중요한 용어의 정의를 적어보세요.

• 통계학

  • 산술적인 방법을 기초로 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 수학의 한 분야
  • 기술 통계학
    : 데이터를 수집하고 수집된 데이터를 쉽게 이해하고 설명할 수 있도록 정리, 요약, 설명하는 방법론
    → 기초 통계량(기술 통계량): 중심 경향치(평균, 중앙갑, 최빈값, 절사 평균 등), 산포도, 범위, 사분위수, …
  • 추론 통계학
    : 모집단으로부터 추출한 표본-데이터를 분석하여 모집단의 여러 가지 특성을 추측하는 방법론
    🡆 A/B 테스트는 추론 통계학 → 유의성 검정

• A/B 테스트

  • 두 그룹 간의 변화가 우연이 아니라 통계적으로 유의미한지를 확인하는 방법
  • 분할 테스트 또는 버킷 테스트라고도 함
  • 통계 영역에서 사용되는 것과 같은 통계적 가설 검정 또는 "2-표본 가설 검정"의 한 형태 → 종합 대조 실험
    • (예) 두 가지 콘텐츠를 비교하여 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인

• 용어 정리 :

  • 단측(One-sided) 검정
    • 정말 더 나은 결과인지 확인하는 실험
    • 한쪽으로만 알아봄: A가 B보다 높을/낮을 것
      → 특정 방안의 승리 또는 패배 가정
  • 양측(Two-sided) 검정
    • 차이가 있지만 어느 쪽이 더 나을지는 미리 가정할 수 없는 경우
    • 단순히 차이가 있을 것이라고만 가정
  • 점 추정
    • 특정 숫자가 나올 것으로 추측
  • 구간 추정
    • 특정 범위/구간을 기준으로 추측
  • 표준 오차
  • 신뢰 구간
    • 실험 결과가 실제로 포함될 것으로 예측하는 범위
    • "이 실험을 100번 진행하면 95번은 전환율이 37%~43% 안에 있고 나머지 5번은 아닐 수도 있음" → 신뢰 수준 95%, 신뢰 구간 37~43%

[(선택)실무 적용 사례]
아티클에서 다룬 분석 방법을 실제 업무에서 어떻게 적용할 수 있을까요?
관련 사례를 찾아보거나, 가상의 시나리오를 만들어보세요.

• 실무 적용: 개인화 추천 시스템 등
  참고

  • 네이버
    

  • 인스타그램
    

• 관련 사례:
  딜라이트룸 A/B 테스트
  당근마켓 A/B 테스트
  롯데ON A/B 테스트
  부킹닷컴 A/B 테스트
• 가상 시나리오:
  모바일 게임에서 UI 차이를 둬서 UI의 변화가 게임 내 재화 결제율(구매율)에 영향을 주는지 확인

인사이트

해당 아티클을 읽고 새롭게 알게 된 것, 앞으로 나의 방향성에 대한 회고가 있다면 적어주세요. 인사이트가 가장 중요합니다.

• A/B 테스트가 단순히 둘 중 하나를 고르는 게 아니고 통계적 지식과 고찰을 바탕으로 진행되는 검정 방법이라는 걸 알게 되었음
• 간단해 보이는 테스트라고 생각했는데 이렇게 많은 통계학 지식들이 전제로 깔려있다는 점에 놀랐고 통계학 공부를 소홀히 해선 안 되겠다는 생각을 했음