T-test 절차

1️⃣ 귀무 가설 (Null Hypothesis) 를 설정

2️⃣ 대안 가설 (Alternative Hypothesis) 를 설정

3️⃣ 신뢰도를 설정 (Confidence Level) : 모수가 신뢰구간 안에 포함될 확률 (보통 95, 99% 등을 사용)

4️⃣ P-value를 확인

💜 P-value

주어진 가설에 대해서 "얼마나 근거가 있는지"에 대한 값을 0과 1사이의 값으로 scale한 지표.

검정 통계량(T-value 등)에 관한 확률로 우리가 얻은 검정 통계량보다 크거나 같은 값을 얻을 수 있을 확률.

5️⃣ p-value를 바탕으로 가설에 대해 결론

🔅🔆 P-value의 기준 🔆🔅

pvalue < 0.01 (1%)

귀무가설이 옳을 확률이 1%이하 : 99%의 신뢰도 기준 H0기각

pvalue < 0.05 (5%)

귀무가설이 옳을 확률이 5%이하 : 95%의 신뢰도 기준 H0기각

0.05 =< pvalue =< 0.1 사이인 경우: (애매함)

실험을 다시한다.
데이터를 다시 뽑는다.
샘플링을 다시한다
기존의 경험 / 인사이트를 바탕으로 가설에 대한 결론을 내린다.

pvalue > 0.1 (10%)

귀무가설이 옳을 확률이 10% 이상으로 H0을 기각할 수 없다.
H0는 틀리지 않았을 것이다.
(옳다는 틀릴 확률이 0%라고 해석한다면, 틀릴확률이 1-pvalue만큼 있으니까 옳다보다는 틀리지 않았을 것이라고 할 수 있다.)

p-value가 (1-Confidence)보다 낮은 경우, 귀무가설을 기각하고 대안 가설을 채택함
(Confidenc = 신뢰도)