데이터 분석은 인문학과 과학적 방법론(수학 및 통계학)의 결합이다.

A/B 테스트를 위한 기초 통계의 중요성

• 우리는 일부(표본)를 통해서 모집단(전체)를 추론한다.
• 일부에 대한 숫자가 충분하다면
• 일부를 통해 전체를 추측, 추론, 추정 할 수 있다. (100% 맞는 것은 아니다)
• 대립 가설을 세울 때 한쪽이 무조건 더 나은 것은 아니다. 결국은 해봐야 한다. (양측 검정)
  - A/B테스트의 목적은 최대한 유효하고 공정, 정확한 테스트를 통한 의사결정을 도출 하기 위함
• A/B테스트가 '우연'이 아닌 유의미한 해석이란건 통계적 수치를 통해 뒷받침 할 수 있다.
• 맹목적인 통계적 유의성에 대한 지나친 의존 보단 그 효과가 비즈니스 의사결정에 미치는 영향을 고려.

1. 결과의 신뢰성 확보

A/B 테스트 결과가 신뢰할 수 있는지를 판단하는 데 핵심적인 역할을 한다. 예를 들어, 표본 크기 계산과 같은 통계적 방법을 사용하면 테스트 결과가 통계적으로 유의미한지 판단할 수 있다. 이는 결과가 우연에 의한 것이 아닌 실제 차이를 반영하는지를 확인하는 데 중요하다.

2. P-Value를 통한 유의성 판단

기초 통계에서 다루는 P-Value는 실험 결과가 우연일 가능성을 나타내는 지표이다. P-Value가 낮으면 두 그룹 간의 차이가 우연히 발생할 확률이 낮다는 것을 의미하며, 이를 통해 어떤 변화가 실제로 효과가 있는지를 판단할 수 있기 때문에, P-Value와 유의 수준을 확인하는 것이 매우 중요하다. 하지만 P-Value만으로는 충분하지 않기 때문에 기초 통계 개념을 이해하고 올바르게 적용하는 것이 중요하다.

3.실질적 유의성 평가

통계적 유의성 외에도 결과가 실제로 비즈니스에 얼마나 큰 영향을 미치는지를 평가하는 실질적 유의성(Practical Significance)도 중요하다. 기초 통계는 이 두 가지를 균형 있게 평가하는 데 필요한 도구와 개념을 제공한다. 단순히 통계적으로 유의미한 차이가 있다고 해서 그 변화가 항상 실질적으로 중요한 것은 아니기 때문에, 통계적 평가와 더불어 그 결과가 실제로 의미 있는지를 판단하는 것이 필수적이다.