[확률과 통계] 유의성 검정 (가설 검정)

본 글은 칸아카데미의 미적분 - 확률과 통계에 대해서 공부하고 정리한 글입니다.

---

1. 유의성 검정

유의성 검정(Significance Test)이란
데이터가 통계적으로 유의미한지 판단하기 위해 어떠한 가설을 수립하고 이를 검정하는 방법을 말한다.
가설은 표본이 아닌 모집단에 대한 가설임을 유의하자.

1-1. 유의성 검정 절차

위에서 언급한 내용을 가지고 실제 유의성 검정을 진행하는 절차에 대해 알아보자.

1️⃣ 귀무가설과 대립가설 수립

• 귀무가설(영가설) $H_0$
  : 실험에서 검정하려는 가설으로, 보통 “효과가 없다” 또는 “차이가 없다”는 내용을 포함한다.
• 대립가설 $H_a$
  : 귀무가설에 반대되는 가설로, “효과가 있다” 또는 “차이가 있다”는 내용을 주장한다.

2️⃣ 유의 수준(Significance Level) $\alpha$ 설정
      보통 0.1 / 0.05 / 0.01 로 설정하며, 표본 통계량이 모집단에서 관측될 기준 확률을 의미한다.

3️⃣ 표본 추출 및 검정통계량 계산

4️⃣ P-Value 계산
       P-Value란, 귀무가설이 참일 때 검정통계량 관측될 확률을 의미한다.

5️⃣ P-Value에 따른 귀무가설 기각 여부 결정

• 특정 상황이 관측될 확률이 한계치보다 낮은 경우 : 귀무가설을 기각하고 대립가설을 수용
• 특정 상황이 관측될 확률이 한계치보다 높거나 같은 경우 : 귀무가설을 기각하지 못함

🧠 실험 전 유의 수준 정해야 하는 이유
: 유의 수준에 따라 결론이 달라지기 때문에, 실험의 객관적인 판단을 위해 유의수준을 미리 설정해야한다.

1-2. 유의성 검정 예시

한 학교의 수학 시험 평균 점수가 75점이라고 알려져 있다.
새로운 교수법을 적용한 후, 30명의 학생을 대상으로 시험을 봤더니 평균 점수가 78점이 나왔다.
이 교수법이 평균 점수를 유의미하게 올렸는지 95% 신뢰 수준에서 검정하라.
(모집단 표준편차는 10으로 가정)

1️⃣ 귀무가설과 대립가설 수립

• 귀무가설 : 새로운 교수법은 효과가 없다. ( $\mu = 75$ )
• 대립가설 : 새로운 교수법은 효과가 있다. ( $\mu > 75$ )

2️⃣ 유의 수준(Significance Level) $\alpha$ 설정
문제에서 신뢰 수준을 95%라고 명시했으니, $\alpha = 0.05$ 이다.

3️⃣ 표본 추출 및 검정통계량 계산
다음과 같은 통계량과 정보가 주어졌을때, 검정통계량을 계산해보자.
( 표본평균 $\bar{x} = 78$ , 모집단 평균 $\mu_0 = 75$ , 표준편차 $\sigma = 10$ , 표본 크기 $n = 30$ )

4️⃣ P-Value 계산
p-value는 표준정규분포에서 Z 값이 1.64 이상일 확률으로, 약 0.0505이다.

5️⃣ P-Value에 따른 귀무가설 기각 여부 결정
p-value가 유의수준 $\alpha$ = 0.05 보다 크므로, 귀무가설을 기각할 수 없다.
따라서, 해당 정보로는 새로운 교수법이 평균 점수를 유의미하게 올렸다고 생각할 수 없다.

2. 오차확률과 검정력

유의성 검정에서 우리는 오차확률과 검정력(Power)에 대해 알아야 한다.
오차확률과 검정력은 가설 검정의 정확도와 신뢰성을 나타낼 수 있는 지표라고 말할 수 있다.

2-1. 1종 오류 / 2종 오류

오차확률과 검정력에 대해 설명하기 전에, 먼저 가설 검정에서 발생할 수 있는 오류에 대해서 알고 넘어가자.

가설 검정에서 귀무가설을 기각하거나 기각하지 않으면서 발생할 수 있는 경우는 다음과 같다.

	$H_0$ (참)	$H_0$ (거짓)
$H_0$ 기각	1종 오류 (False Positive)	Correct Conclusion
$H_0$ 기각 실패	Correct Conclusion	2종 오류 (False Negative)

1종 오류(Type I Error)는 귀무가설이 참이나 이를 기각하는 경우를 말하며,
2종 오류(Type II Error)는 귀무가설이 거짓이나 이를 기각하지 못하는 경우를 말한다.

2-2. 오차확률

오차확률은 가설 검정에서 잘못된 결정을 내릴 확률을 의미한다.
위에서 언급했던 1종 오류와 2종 오류에 대한 오차 확률로 나누어 볼 수 있다.

⏺️ 1종 오류(Type I Error)

1종 오류는 귀무가설이 참이지만 이를 기각하는 오류를 말하며,
실제로 효과나 차이가 없는데도 불구하고, 통계적 분석에서 효과나 차이가 있다고 잘못 결론짓는 경우다.

여기서 1종 오류의 발생 확률 = 유의수준 $\alpha$ 이다.
귀무가설에 의해 관측된 값이 낮은 확률로 발생할 수 있는데, 미리 설정해둔 유의수준보다 낮아
이를 기각할 수 있기 때문에 유의수준을 1종 오류의 발생확률로 볼 수 있다.

⏺️ 2종 오류(Type II Error)

2종 오류는 사실 귀무가설이 거짓이지만 이를 기각하지 못하는 오류를 말한다.
실제로 효과나 차이가 있음에도 불구하고, 통계적 분석에서 효과나 차이가 없다고 잘못 결론짓는 경우다.

여기서 2종 오류의 발생 확률 = $\beta$ 라고 말한다.

2-3. 검정력

검정력(Power)은 귀무가설이 거짓이고 대립가설이 참일 때, 이를 올바르게 기각할 확률을 의미한다.
이는 다시 말해 귀무가설이 거짓일 때, 2종 오류가 발생하지 않을 확률이며 다음과 같이 정의 할 수 있다.

🧠 검정력을 높이는 방법

1. 유의수준 증가
   : 유의수준 $\alpha$를 높이면 그만큼 귀무가설을 기각할 확률이 높아지기 때문에 검정력이 증가하지만,
   동시에 1종 오류의 발생 가능성도 높아진다는 단점이 존재한다.
2. 표본 크기 증가
   : 표본이 증가한다면 표본 분포의 변동성(표준 편차)이 줄어들기 때문에 검정력이 증가한다.
3. 모수와 표본통계량의 차이 증가
   : 실제로 귀무가설이 거짓이라면, 모수와 표본통계량에 차이가 있을 것이고
   이 차이가 크면 클수록 p-value가 낮아져 검정력이 증가할 수 있다.

3. 모비율/모평균 유의성 검정

모비율과 모평균에 대하여 각각 예시와 함께 유의성 검정을 진행해보자.

3-1. 모비율의 검정

모비율의 경우 Z분포 사용

3-2. 모평균의 검정

모평균의 경우 표본 크기에 따라 Z분포 / T분포 선택하여 사용

3-3. 단측검정과 양측검정