가설 검정에서의 1종 오류와 2종 오류

• 1종 오류(상황)

  귀무가설 참일 때(in 실제) 이를 기각하는 오류(by test)
  False Positive / False alarm
  P(reject H$_0$|H$_0$ is true) = 유의수준 $\alpha$(확률)

• 2종 오류(상황)

  귀무가설 거짓일 때(in 실제) 이를 기각하지 못하는 오류(by test)
  P(not to reject H$_0$|H$_0$ is false) = $\beta$(확률)
  False Negative

• 검정력(확률)

  귀무가설이 거짓일 때 이를 기각할 확률 = 1- $\beta$

---

<양치기 소년 이야기>
귀무가설 : 늑대가 나타나지 않았다(평화롭다)
대립가설 : 늑대가 나타났다

<전반부>
늑대가 나타나지 않음 ~ 귀무가설 참

• 소년 : 늑대가 나타났다고 거짓말 (1종 오류)
• 마을 사람들 : 이를 믿고 달려옴

  늑대가 나타나지 않았지만/ 늑대가 나타났다 함
  귀무가설이 참이지만/이를 기각($\alpha$의 확률)

<후반부>
늑대가 나타남 ~ 귀무가설 거짓

• 소년 : 진짜 늑대가 나타났다고 알림
• 마을 사람들 : 이를 믿지 않음

  늑대가 나타나/ 늑대가 나타났다 알림
  귀무가설 거짓일 때 / 이를 기각함(1-$\beta$의 확률)

여기서 2종 오류는 늑대가 나타났지만 소년이 늑대가 나타났다 알리지 않은 경우이다. 이는 소년은 할 생각은 없을 것이며 오히려 늑대가 나타났지만 이를 거짓이라 생각한 이야기 후반부에서 마을 사람들의 판단과 유사하다고 연결 지을 수 있다.

이러한 가설검정의 상황을 그림으로 보면

귀무가설 : 늑대가 나타나지 않음
대립가설 : 늑대가 나타남

양치기 소년의 거짓말이 시작되었을 당시에 마을 사람들은 소년의 말을 믿고 늑대가 나타났다 생각해 막기 위해 나섰을 것이다. 즉 귀무가설의 임계치($C_1$)가 낮아 기각역이 크고 1종 오류의 확률($\alpha_1$)이 높았다. 이 당시에는 1-$\beta_1$만큼의 실제로 늑대가 나타났을 때 소년이 늑대가 나타났음을 알려줄꺼라는 마을 사람들의 믿음을 있었을 것이다.
하지만 여러 번의 헛수고로 인해 사람들은 늑대가 나타났다며 귀무가설을 기각하는 소년의 말을 걸러듣기 시작했을 것이다. 마을 사람들은 귀무가설의 임계치를 점차 높여 아마 양치기 소년이 진실을 말하기 직전에는 $C_n$까지 높였을 것이다. 이로 인해 그동안 소년이 늑대가 나타나지 않았지만 늑대가 나타났다 알렸을 때 온 마을 사람들이 들고 나서서 이를 대비할 확률이 줄어들었을 것이다.(①만큼 줄어든 $\alpha_2$)
하지만 소년이 실제로 늑대가 나타났을 때 늑대가 나타났다 말할 확률, 즉 귀무가설이 거짓일 때 이를 기각할 확률인 검정력이 ②만큼 줄어든 1-$\beta_2$로 줄어들어 결국 실제로 늑대가 나타나 이를 소년이 마을 사람들에게 알렸을 땐 마을 사람들은 소년의 말을 믿지 않았다고 볼 수 있다.

정리하면 양치기 소년 이야기에서 귀무가설을 '늑대가 나타나지 않았다'라고 볼 때
1종 오류는 양치기 소년의 거짓말과 같다

늑대가 나타나지 않았는데 / 늑대가 나타났다 함
귀무가설이 참인데 / 이를 기각함

2종 오류는 마을 사람들의 판단과 유사하다

늑대가 나타났는데 / 늑대가 나타나지 않았다 판단
귀무가설 거짓인데 / 이를 기각하지 않음