HypothesisTest(가설검정), P-value

✍가설검정(hypothesis Test)

가설검정이란, 주어진 가설이 사실인지 아닌지를 수치적으로 확인하는 프로세스.
모집단의 실제값에 대한 sample의 통계치를 사용해서 통계적으로 유의한지 아닌지 판정한다.

• 귀무가설(Null Hypothesis, H0) : 설정된 가설이 잘못되었다는 충분한 증거 제시 전까지 참으로 받아들여지는 가설으로 반대로 생각하면 진실일 가능성이 적어 처음부터 버릴 것이 예상되는 가설. 귀무가설은 기각이 목표. ("~와 차이가 없다.", "~의 효과는 없다.", "~와 같다."의 형식)

• 대립가설(Alternative Hypothesis, H1) : 귀무가설이 잘못되었다는 충분한 증거로 귀무가설을 기각할때 받아들이는 가설. ("~와 차이가 있다.", "~의 효과는 있다.", "~와 다르다."의 형식)

이렇게 두 가지 가설을 세웠으면, 수집한 표본데이터를 바탕으로 귀무가설을 채택,기각할지 판단해야하는데 항상 오류의 가능성이 존재한다.(표본 추출시마다 통계치가 달라지기때문) 귀무가설이 참인지 아니면 거짓인지를 검증하기 위해 수집한 표본을 바탕으로 "귀무가설이 참이라고 가정했을때, 표본으로부터 얻어지는 통계치가 관측될 확률" 을 계산하고 이 값을 p-value(p값)이라고 한다.

가설 설정 예시) A>B임을 검정하고 싶다면, 
         - 귀무가설 : A <= B (A=B라고 표기하기도 함)
         - 대립가설 : A > B (귀무가설 기각)

👉P-value(유의확률)

: 귀무가설이 맞다고 가정할때 얻은 결과보다 극단적인 결과가 실제로 관측될 확률, 0~1사이 값으로 scale한 지표, p-value가 낮으면 귀무가설이 틀렸을 확률이 높다.

• pvalue의 기준

1) value < 0.01 : 귀무가설이 옳을 확률이 1%이하 -> 틀렸다 (깐깐한 기준) 
2) pvalue < 0.05 (5%) : 귀무가설이 옳을 확률이 5%이하 -> 틀렸다 (일반적인 기준)
2.5) 0.05 ~ pvalue ~ 0.1 사이인 경우: (애매함)
   실험을 다시한다.
   데이터를 다시 뽑는다.
   샘플링을 다시한다
   기존의 경험 / 인사이트를 바탕으로 가설에 대한 결론을 내린다. 
3) pvalue > 0.1 (10%) : 귀무가설이 옳을 확률이 10%이상인데 -> 귀무가설이 맞다 ~ 틀리지 않았을것이다

ex) p-value : 0.85 --> 귀무가설은 틀리지 않았다. (귀무가설이 옳다와 톤이 약간 다름)