가설 검정을 실시하면 H0, H1 기각/채택의 결과를 가져온다.
그러나 이 때 오류가 발생 할 수 있는데 이를 가설검정의 오류라고 한다.
:1종 오류, 2종 오류는 귀무가설이 참인데 기각을 했다거나, 거짓인데 채택을 함으로 인해 발생하는 에러다
1종 오류(False Positive / FP)
귀무가설이 참인데 기각을 한 것 (유의수준=α), (α Error)
2종 오류(False Negative / FN)
귀무가설이 거짓인데 채택을 한 것 (β Error)
위 그림에서 귀무가설은 '임신을 하지 않았다.' 인데,
1종 오류는 귀무가설이 참임에도 기각(임신했다고 선언)함.
2종 오류는 귀무가설 자체가 오류인데(임신을 했기 때문에) 귀무가설을 채택(임신 하지 않았다고 선언)함.
가설 검정에서 발생하는 모든 오류를 줄이는 것이 좋을 것이다.
하지만 이 둘은 trade-off 관계에 있어서, 오류 수준을 조절 할 뿐이지 두 가지 오류를 동시에 줄일순 없다.
α 오류를 줄이기 위해 임계값을 오른쪽으로 이동시키면, β 오류가 생길 확률이 늘어난다.
반대로 왼쪽으로 이동 시킬 경우 α 오류가 생길 확률이 늘어난다.
일반적으로는 1종 오류(α오류)가 더 심각한 오류라고 판단한다. 1종 오류가 발생하는 경우(실제로는 특별하지 않은데 특별한 상황이라고 판단) 더 큰 사회적 비용이 발생하기 때문이다.