[데이터 전처리] 가설 검정 - 독립 표본 t검정

Bpius·2023년 10월 11일
0

데이터 EDA & 전처리

목록 보기
14/46
post-thumbnail

가설 검정

수집된 데이터를 바탕으로 모집단의 특성의 가설에 대한 통계적 유의성을 검정하는 일련의 과정

  • 수집된 데이터는 대부분 샘플이며(모집단의 부분집합) 모집단 전체를 알 수 없는 경우가 대부분
  • 통계적 유의성 : 수집된 데이터가 확률적으로 의미가 있는 경우
  • 단계 : 영 가설(귀무가설) & 대립 가설 설정 -> 검정 통계량 설정 -> 기각역 설정 -> 검정통계량 계산 -> 의사 결정

영 가설(귀무 가설)과 대립 가설

  • 영 가설 : 특정 데이터가 없으면 '참'으로 추정(ex. 무죄 추정의 원칙)
  • 대립 가설 : 특정 데이터가 없으면 '거짓'으로 추정하며 관심 대상인 가설

p-value

영 가설이 '참'이라고 가정할 때 얻은 결과와 다른 결과가 관측될 확률로, 그 값이 작을 수록 영 가설을 기각(보통 p < 0.05)할 근거가 됨
영 가설이 '참'일 때 기대할 수 있는 데이터의 분포가 클 수록 p-value 커지고, 작다면 '거짓'일 확률이 커진다.
영 가설이 '거짓'이라고 대립 가설이 '참'인 것은 아니다.

  • ex) 영 가설: 한국 남성의 키 평균은 160이다. 영 가설에서 데이터의 실 분포는 175라면(p<0.05) 영 가설 기각

독립 표본 t검정

서로 다른 두 그룹의 데이터 평균 비교

선행 조건

  • 두 그룹은 서로 확률적으로 독립적이어야 한다.
  • 데이터는 정규분포를 따라야 한다.(비모수(비 정규분포)라면 Mann-Whitney 검정)
  • 두 그룹의 데이터에 대한 분산이 같아야 한다.(등분산성)
  • Levene 등분산성 검정에서 p-value가 0.05 이상이면 분산의 수준이 같다고 판단.

t = 그롭a 표본 평균 - 그룹b 표본 평균 / (통합분산 / (1/그룹a 샘플 수 + 1/그룹b 샘플 수)**1/2)

검정

두 그룹의 데이터로 확인해보자.

먼저 두 그룹이 정규성(p-value < 0.05)을 띄는지 확인하고 정규성을 띈다면 두 그룹간의 등분산성을 확인한다.
p-value가 0.05 이상이기에 분산의 수준이 '같다'라고 판단할 수 있다.

그리고 분산이 같기에 equal_ver인자는 True로 설정하여 독립 표본 t검정을 하면 아래와 같다.
statistic 양수이기에 그룹 A의 데이터들의 평균이 더 큰 것을 알 수 있다.

profile
데이터 굽는 타자기

0개의 댓글