데이터 분석가의 통계적 실험
용어
-
변수: 대상의 속성이나 특성을 측정하여 기록한 것
-
독립변수: 원인이 되는 변수로, 설명변수라고 불립니다.
-
종속변수: 결과가 되는 변수로, 결과변수라고도 불립니다. 독립변수에 따라 그 값이 변할 것이라고 예상하는 변수
-
모수: 모집단을 대표하는 값
-
모수 통계: 모집단이 정규분포를 따른다는 가정하에 사용되고, 데이터분석가는 주로 모수통계를 진행함. / 평균, 분산 등의 값을 알고 있다는 가정하에 진행하는 통계분석.
-
비모수통계: 모집단이 정규분포가 아닐 때 사용. (이 말은 곧 표본의 크기가 충분히 크지 않음: 소규모 실험에 해당) 또는 평균, 분산 등의 값을 가정하지 않고 진행하는 통계분석.
A/B 테스트에 필요한 방법론에 필요한 3가지 지식
- 가설설정
- 통계적 의미 해석(P-VALUE)
- 가설검정(T검정, 카이제곱검정)
통계적 실험
정의
- 어떤 목적을 가지고 관찰을 통해 결과(측정값) 얻어내는 것
목적
- 통계적 추론을 통해 보다 진실에 가까운 값을 도출하기 위함
프로세스
- 가설 수립 → 실험 설계 → 데이터 수집 → 추론 및 결론 도출
EX) 북극곰은 모두 흰색이야. → 모든 북극곰은 흰색이 아닐수도 있다. → 모든 북극곰을 확인하는 것은 불가능 → 통계적 추론 실시 → 진실에 가까운 값 도출
A/B TEST
- 비즈니스 마케팅시 필수
개념이해
-
대조실험(가설을 입증하기 위해 대조군, 실험군을 설정하고 검증) / 테스트 과정에서 다양한 통계적 개념을 바탕으로 실험이 진행
-
목적: 고객 니즈파악, 최소 투자로 최대 이익을 창출(ROI상승) 목적
프로세스
-
현행 데이터 탐색 → 가설 설정 → 유의수준 설정 → 테스트 설계 및 실행 → 테스트 결과 분석
-
현행 데이터 탐색: 주요 지표를 기준으로 현 데이터 탐색
-
가설 설정: 비즈니스 목표를 달성하는데 필요한 KPI 정의하고, 전환율 증가를 위한 가설 설정
- 귀무 가설: 통계학에서 처음부터 버릴 것을 예상, 차이가 없거나 의미 있는 차이가 없는 경우 가설 / 새로운 광고배너를 게재해도 기존과 차이가 없을 것이다.
- 대립 가설: 귀무가설에 대립하는 명제, 새로운 광고배너를 게재하면 기존과 차이가 있을 것이다(다를 것.)
-
유의 수준 설정: 귀무가설이 맞을 때 오류를 얼마나 허용할 것인지 기준을 정하는 단계
-
테스트 설계 및 실행: 사용자를 대조군과 실험군의 두 그룹으로 분리, 대조군 그룹에게는 제품이나 서비스의 현재 버전을 보여주고, 실험군 그룹에게는 새 버전을 노출 처리.
-
테스트 결과 분석: 측정 항목에 대해 두 그룹의 결과를 분석.(검정통계량 분석), 통계적 방법으로 결과를 분석하여 대조군과 실험군 사이의 통계적으로 유의미한 차이가 있는지 확인.
A/B TEST 주의사항
-
적절한 표본 크기: 표본의 크기가 충분하지 않으면 유의미한 결과를 얻을 수 없습니다. 적절한 표본 크기를 결정하고, 그에 맞는 시간과 자원을 투자해야 합니다.
-
하나의 변수만 변경: A/B 테스트에서는 하나의 변수만을 변경해야 합니다. 두 가지 이상의 변수를 동시에 변경하면 어떤 변수가 영향을 미쳤는지 파악할 수 없습니다.
-
무작위성: A/B 테스트는 무작위로 선택된 사용자들에게 각각 다른 변수를 적용해야 합니다.
-
적절한 분석 방법: A/B 테스트 결과를 해석할 때는 가설 검증을 위한 통계적 분석 방법을 선택하고, 유의수준을 설정해야 합니다.
-
테스트 결과의 의미: A/B 테스트 결과가 통계적으로 유의미하더라도 항상 실제로 의미 있는 결과인지 한번 더 생각해보아야 합니다.
-
정해진 기간 동안 진행: A/B 테스트는 동일한 기간 동안 진행되어야 합니다. 그 기간 동안에만 결과를 수집하고, 분석해야 합니다. 너무 짧은 기간 동안에는 결과를 수집하기 어렵고, 너무 긴 기간 동안에는 사용자들의 행동이 변할 가능성이 있습니다.
유의수준 설정하기
- 신뢰수준의 반대 개념
유의수준
- 정의: 귀무가설(차이가 없을 것이라고 생각하는 가설)이 맞을 때 기각할 확률
- 표기: A
- 범용적 기준: 5%,1%,10%
- 신뢰도와의 관계 95%의 신뢰도를 기준으로 한다면 1-0.95인 0.05값이 융의수준 즉 반대의 개념
검정통게량과 P-VALUE
- 유의수준을 정하고 실험을 진행하고 결과를 해석
검정 통계량이란 귀무가설을 채택 또는 기각하기 위해 사용하는 확률변수를 의미.
- 확률변수: 특정 확률로 발생하는 각각의 결과를 수치값으로 표현하는 변수로 0과1사이의 값을 가짐
검정 방식
-
Z 검정: Z-VALUE → -∞ ~ ＋∞ → 집단 개수: 주로 2개 / 표본의 평균 비교 / 모집단의 분산을 알 수 있는 경우 → 연속형 자료
-
T 검정: T-VALUE → -∞ ~ ＋∞ → 집단 개수: 주로 2개 / 표본의 평균 비교 / 모집단의 분산을 알 수 없는 경우 → 연속형 자료
-
카이제곱검정: X^2-VALUE → 0 ~ +∞ → 집단 개수: 주로 2개 이상 / 표본의 비율이나 빈도 비교 → 범주형 자료
-
F 검정: F-VALUE → 0 ~ +∞ → 집단 개수: 주로 3개 이상 / 두 개 이상의 그룹의 분산 비교 / 3개 이상의 집단 간 평균의 차이 비교 → 범주형 자료
결과 해석 단계: P-VALUE
- 어떤 사건이 우연히 발생할 확률 0이상 1이하의 값을 가짐 / 즉 유의수준보다 p-value 가 작은 경우에 우연히 일어날 가능성이 거의 없어 대립가설을 채택하게 될 수 있습니다.
대립가설 채택
-
p-value가 0.05 보다 작다 = 우연히 일어났을 가능성이 거의 없다 = 인과관계가 있다고 추정
= 대립가설 채택 -
p-value가 0.05 보다 크다 = 우연히 일어났을 가능성이 높다 = 인과관계가 없다고 추정
= 대립가설 기각
