[통계 이론] 통계적 가설 검정

통계적 가설 검정 절차

1) 가설을 설정한다.

• 귀무가설(null hypothesis/H0)
  : 가설 검정의 직접적인 대상이 되는 가설. 기각하고자 하는 가설.
  ➡️ 연구의 목적은 독립변인에 따라 종속변인에 차이가 난다는 것을 확인하기 위한 경우가 많음. 이로 인해 귀무가설은 '차이가 없다', '영향을 미치지 않는다' 등으로 표현되는 경우가 많음.
  예) 종이에 필기한 집단과 노트북에 필기한 집단 사이 성적에 차이가 없다.

• 대립가설(alternative hypothesis/H1)
  : 귀무가설이 기각될 때 받아들여지는 가설. 직접적으로 검정의 대상이 되지 않음.
  예) 종이에 필기한 집단과 노트북에 필기한 집단 사이 성적에 차이가 있다.

⚠️ 주의: 귀무가설과 대립가설은 모든 가능성을 포함해야 하고, 상호 배타적이어야 한다.

• 가설에는 차이가 특정한 방향에서 나타날 것을 명시하는 방향적 가설(directional hypothesis)과 특정한 방향을 포함하지 않는 비방향적 가설(nondirectional hypothesis)이 있음.
  예) 방향적 가설: 종이에 필기한 집단이 노트북에 필기한 집단보다 성적이 높을 것이다.
  비방향적 가설: 종이에 필기한 집단과 노트북에 필기한 집단 사이 성적에 차이가 있다.

• 선행연구가 존재하여 방향성에 대해 기대할 수 있을 때 방향적 가설을 사용하고, 방향성에 대한 강한 근거가 없다면 비방향적 가설을 사용하는 것이 좋음.

• 방향적 가설을 검정할 때 단측(one-tailed) 검정, 비방향적 가설을 검정할 때 양측(two-tailed) 검정을 사용함.

2) 유의 수준을 설정한다.

p-value와 비교할 유의수준($α$)을 설정함. 일반적으로 $α$은 .05로 설정함.

연구자의 결정 / 실제 상태	귀무가설 참	귀무가설 거짓
귀무가설 기각	1종 오류($α$)	바른 결정(1-$β$)
귀무가설 기각 안함	바른 결정(1-$α$)	2종 오류($β$)

• 유의수준($α$): 귀무가설이 참일 때 귀무가설을 기각할 확률(1종 오류를 범할 확률).
• 검정력(power): 귀무가설이 거짓일 때 귀무가설을 기각할 확률(2종 오류를 범하지 않을 확률). 1-$β$임.

[양측 검정]

[단측 검정]

출처: Hartmann, K., Krois, J., Waske, B. (2018): E-Learning Project SOGA: Statistics and Geospatial Data Analysis. Department of Earth Sciences, Freie Universitaet Berlin.

3) 표본을 추출하여 검정통계량을 계산한다.

4) 귀무가설을 평가한다.

p-value: 귀무가설이 참일 때 관측된 검정통계량이 관찰될 확률

p-value와 유의수준($α$)을 비교:

• p-value < $α$ 이면 귀무가설을 기각한다.

⚠️ 주의:

• p-value는 effect size에 대한 지표로 사용되면 안된다. p-value가 낮다고 해서 effect size가 큰 것이 아니다.
• p-value가 낮다고 해서 재현(replication)될 확률이 높은 것이 아니다.
• 일반적으로 표본이 많아지면 p-value가 낮아진다.