Z 검정, T 검정는 평균 차이만으로 두 집단 비교를 넘어 그 차이의 정도가 통계적 유의성이 있는지 검정할 때 사용한다. Z는 모집단의 분산 값을 알고 있을 때, T 검정은 모집단의 분산 값을 모를 때 사용하며 모집단을 모를 때가 많아 주로 T가 쓰인다.

• 대립가설: 두 집단의 평균에 유의미한 차이가 있다.
• 귀무가설: 평균 차이가 없다.

통계학에서 위 대립가설을 증명하기 위해 귀무가설을 기각하는 방법을 사용하며 P값을 확인해야 한다.
P값은 귀무가설이 참이라고 주장할 수 있는 값들이 실제로 관측될 확률이라고 할 수 있다. 확률일 낮을수록 귀무가설을 기각할 증거가 강하다는 말이다.

흔히 검정 결과 P값이 0.05보다 작으면 귀무가설이 기각되어 '두 집단 평균에 유의미한 차이가 있다'라는 대립가설이 참이 된다.
P값이 0.05보다 크거나 같으면 '두 집단 간의 평균에는 유의미한 차이가 없다.'는 결론을 얻게 되는 것이다.

등분산 검정과 이분산 검정

T 검정은 다시 등분산 검정과 이분산 검정으로 구분할 수 있다.
등분산은 두 집단의 분산이 같다고 가정하는 것이고 이분사은 두 집단의 분산이 다르다고 가정하는 것이다.

단측 검정과 양측 검정

가설을 세울 때 어느 한쪽으로 방향을 정할 수도 있고 혹은 방향을 정하지 않을 수 도 있다.
가설의 방향을 알고 있거나 편견을 가지고 있는 상태면 단측 검정,
어느 한 쪽으로 방향을 정하지 않고 가설을 세우면 양측 검정에 해당한다.

• 단측 검정(A 집단의 평균이 더 클 것이다.)
  • 귀무가설: 두 집단 평균 차이가 0이다.
  • 대립가설: A 집단의 평균이 더 크다.
• 양측 검정(두 집단에 차이가 있다.)
  • 귀무가설: 두 집단 평균 차이가 0이다.
  • 대립가설: A 집단의 평균이 0이 아니다.