P-Value란 무엇인가?

우선 통계적 유의성을 이해해 보도록 하자.

통계적 유의성

동전던지기로 생각을 해보도록 하자.

가능한 출력은 앞면,뒷면으로 예상할 수 있다. (입력이 동전을 던지는 행위라고 가정을하면)

fair coin은 한 세계관에서 공정한 동전이다.
fair coin은 귀무 가설로 우리가 시작점으로 삼은 가설 이다.
이 세계의 동전은 양면이다.

not a fair coin은 다른 세계관, 공정하지 않은 동전이다.
not a fair coin은 대립 가설로 H a라고도 불리는데
이 세계의 동전은 뒷면만 있다.

우리가 확인해야 할것은 동전을 던져서 우리가 어떠한 세계관에 있는 것인지를 확인하려는 것이다.
"귀무가설의 세계관인지 대립가설의 세계관인지"를 동전을 던져서 확인해 보고자 하는 것이다.
우선 도박사의 오류를 제외하고생각해 보도록 하자 우리가 따지는 것은 독립시행이 아닌 연속시행을 경우에 두고 말한다.

우선 귀무 가설 즉 이 동전이 공정한 동전이 옳다고 가정을 해보고 시작을 해보겠다.
confidence는 내가 이 동전이 공정하다고 옳다는 생각을 수치화 지표라고 생각을 해보자.

처음에 동전을 던졌을때 뒷면이 나올확률은 1/2이다. 이건 부정할 수 없는 참이라고 가정을한다.
confidence:0.5// 그럴수 있지

두번 연속 뒷면이 나올확률은 1/4이다.
confidence:0.25 //운이 좋았네

세번 연속 뒷면이 나올확률은 1/8이다.
confidence:0.125 // 뭔가 이상한데

네번 연속 뒷면이 나올확률은 1/16이다.
confidence:0.0625 // 이게 말이되나..?

다섯번 연속 뒷면이 나올 확률은 1/32이다.
confidence:0.03125 // ?????????

즉 다섯번 연속 뒷면(혹은 앞면)이 나올려면 최소한 32번의 동전을 연속으로 5번 던지는 행위가 있어야 가능하다고 즉 confidence가 1.0이 되어야 내가 생각한 귀무 가설이 옳다고 생각을 할 것이다. 하지만 단한번의 독립시행에서 이와같은 결과가 도출 되었다. 그렇다면 우리는 의심을 할 수 밖에 없는데 '의심을 하는것이 합리적인 수치'를 우리는 통계적 유의성이라고 부르기로 한것이다. 이를 간단히 표로 그려보자면

이처럼 표현할 수 있다. 바로저 알파값이 '의심을 하는것이 합리적인 수치'즉 통계적 유의성이 되는 것이다. 이때야 우리는 귀무가설이 틀렸다고 부정할 수 있는것이다. 그것도 '합리적으로' 말이다.

그래서 우리는 오늘 합리적으로 의심을 해도 되는 수치 p-value에 대하여 알아보았다. 지금 가까이 동전이 있다면 동전을 던져서 5번연속 같은면이 나온다면 당신은 H a 세계관에 살고 있다고 합리적인 의심을 해보아도 된다.