통계적 오류

• 통계에서는 제 1종 오류를 α(알파), 제 2종 오류를 β(베타)라고 함
  • 제 1종 오류
    • 귀무가설(H₀)이 참인데 대립가설(H₁)로 잘못 선택하는 오류
      = 귀무가설을 기각하는 오류
    • 이러한 제 1종 오류의 수준을 바로 "유의수준(Probability)"이라 부름
  • 제 2종 오류
    • 대립가설(H₁)이 참인데 귀무가설(H₀)로 잘못 선택하는 오류
      = 대립가설을 기각하는 오류

유의수준

• 일반적으로 5%(0.05) 또는 1%(0.01)를 가장 많이 활용
• 조금 더 넓게 보기 위해서는 10%(0.1)를 설정하기도 하지만 유의수준이 커질수록 그만큼 잘못된 선택을 할 수 있는 확률 또한 증가하게 되므로 주의가 필요함

예시

유죄·무죄 표

가설선택↓　진실→	유죄	무죄
유죄 판정	옳은 결정	제 1종 오류(α)
무죄 판정	제 2종 오류(β)	옳은 결정

• 재판에서 검사는 유죄를 증명하려고 할 것이고, 변호사는 무죄를 증명하려 할 것
  a. 죄가 없음에도 유죄 판정을 내림 → 제 1종 오류
  b. 죄가 있음에도 무죄 판정을 내림 → 제 2종 오류

죄가 없는데도 조작된 증거로 인해 사형 선고를 받고 형이 집행되어버린다면 최악의 상황이 되어버리므로 이를 제 1종 오류라고 한다.
반대로 죄가 있는 피의자에게 무죄 판결을 내리는 것 역시 사회적으로, 특히 피해자에게 매우 몹쓸 짓을 하는 결과이기도 하지만 다음에 증거를 더 확보하여 죄값을 물을 수 있으므로 제 2종 오류라고 한다.

제 2종 오류

• 실제로는 유죄인데, 유죄라는 객관적인 증거가 80% 있을 때
  • 증거가 95%보다 적으므로 증거불충분으로 무죄라고 잘못 결정
    = 실제로는 H₁인데 H₀라고 잘못 선택

제 1종 오류

• 실제로는 존재하지 않는데, 외계인이 존재한다는 객관적인 증거가 97% 있을 때
  • 증거가 95%보다 많으므로 외계인은 존재한다라고 잘못 결정
    = 실제로는 H₀인데 H₁라고 잘못 선택
  • 즉, H₁이라고 주장한 것이 틀릴 가능성은 3%임

유의수준과 유의확률

• 유의수준(significance level, α)

  • 연구자가 설정하는 값
    • 연구자가 임의로 설정 가능: α=0.05, α=0.01
    • 주로 α=0.05를 사용
  • 유의수준이 작아질수록 귀무가설이 틀렸다는(기각한다는) 결론을 내기가 어려움

• 유의확률(p-value; probability value)

  • 통계 결과에서 등장하는 p값
  • 귀무가설의 기각여부를 유의수준과 비교하여 최종가설을 채택하는 것
    • 귀무가설이 맞을 때 적어도 그 정도의 극단적인 표본값이 나올 확률
    • 0과 1 사이의 값

• 많은 연구에서 유의수준과 유의확률은 혼동하여 잘못표기하는 경우가 많으므로 표기할 때 주의!

• 검정을 통해 나오는 p값을 유의수준과 비교하여 유의확률이 유의수준보다 작다면 귀무가설을 기각하고 대립가설을 채택

  • 반대로 유의확률이 유의수준보다 크다면 귀무가설을 채택하고 대립가설을 기각하

유의확률 p값이 정확히 0.05로 나왔다면 연구자는 해석을 어떻게 해야 할까?

• 일반적으로 p=0.05로 나왔다면 귀무가설을 기각하지 못한다고 함

  • 다시 말해 통계 결과는 유의하지 않게 되는 것

• 그러므로 이런 결과가 나왔을때는 잘못된 데이터가 없는지 살펴볼 필요가 있음

  • 논문에서의 표기 중 잘못된 것 하나가 "통계적 유의수준은 p값 0.05 이하로 정하였다"라고 쓰는 경우
    • 이하가 아닌 "미만"이라고 표기하여야 함
    • 기호로는 A p value <0.05로 표기하거나 영어로는 Less than 0.05라고 표기하기 때문

예시

• CT실과 MR실에 근무하는 방사선사의 월 평균 피폭선량을 비교하는 논문
  • p값이 0.002로 나왔다면:
    • p값 0.002는 유의수준 0.05보다 작으므로 귀무가설을 기각하고 대립가설을 채택하게 됨
      → CT실과 MR실에 근무하는 방사선사들 간 피폭선량의 차이가 있다!