00. 회사에서 통계학
데이터 분석가로 일한 지 약 4년이란 시간이 지났습니다. 다양한 업무를 해왔지만 그 중 실제 일어난 이벤트에 대해서 추정하고 해석하는 일도 있었습니다. 보통 그런 일이 있으면 아래처럼 대화가 흘러갑니다.
A : 고객에게 새로운 혜택을 지급했더니 구매고객수가 늘어난 것 같아. 이거 효과 분석 좀 해 줘
B : 지급 전보다 지급 후에 구매고객수가 늘어난 건 맞지만 이게 꼭 혜택때문에 그런 건 아닐 수 있어요
A : 혜택 지급 전이랑 지급 후 시점 구매고객수 차이가 있는데 그게 무슨 소리야?
이런 상황에서 p-value가 뭐고 그래서 유의하고... 그런 이야기는 사실 회사에서는 도움이 안됩니다. 실무자 입장에서 그런 건 궁금하지 않을 뿐더러 통계학적 지식을 모두가 동등하게 가지고 있지는 않으니까요.
그러나 한 편으로는 이런 생각도 했습니다. 제가 통계학적 지식이 부족해서 제대로 설명을 못드리고 있는 건 아닐까? 원래 어떤 지식을 제대로 알고있다면 그걸 제대로 설명할 수 있는 정도여야 하니까요. 이런 생각에 한 번 p-value 같은 지식을 다른 누군가에게 설명해보려고 시도했지만 매우 어려웠습니다. 그래서 저는 이런 결론을 내렸습니다. 아, 나는 통계학을 제대로 이해하지 못했구나
이런 배경으로 통계학을 다시 한 번 공부하고 이를 제대로 정리해보기로 했습니다. 여기서 다루는 통계학은 아마 통계학의 전체 이론 보다는 실무에서 제가 필요했고 다시 공부해보고 싶었던 내용 위주로 작성될 예정입니다. 물론 저도 마지막으로 통계학을 공부한 건 오래되었기 때문에 기초적인 내용도 다루긴 할 듯 합니다.
01. 도대체 p-value가 뭘까?
p-value를 구글링했을 때 나오는 문장은 다음과 같습니다
p-값(p-value)은 [귀무 가설](null hypothesis)이 맞다는 전제 하에, 표본에서 실제로 관측된 통계치와 '같거나 더 극단적인' 통계치가 관측될 확률이다.
일단 어려운 단어가 많이 보입니다. 귀무 가설, 표본, 실제로 관측된, 통계치, 같거나 더 극단적인
일단 이렇게 어려운 단어는 제외하고 최대한 직관적인 이해를 하기 위해서 p-value를 뜯어보도록 하겠습니다. 우선 위 회사의 상황을 다시 풀어보자면 이렇게 말할 수 있습니다.
새로운 혜택이란 이벤트가 구매고객수를 늘리는 데 영향을 미쳤나?
회사를 다니면 다양한 이벤트를 맞이할 수 있습니다. 그러나 해당 이벤트(원인)가 고객 증대(결과)에 100% 온전히 영향을 미쳤다고 보기는 어렵습니다. 시간대에 따른 차이일 수도, 계절의 영향일 수도, 아니면 옆 부서에서 다른 이벤트를 했을 수도, 그게 다 아니고 그냥 우연히 발생한 것일 수도 있습니다.
그렇다면 해당 이벤트로 인해서 고객 증대가 발생했다고는 어떻게 말할 수 있을까요? 이럴 때 p-value를 기준으로 정말 우연히 고객증대가 발생했는지, 해당 이벤트로 인해서 고객 증대가 발생했는지 말을 할 수 있습니다. p-value란 어떤 결과가 우연히 발생할 수 있는 확률값(probability value)를 의미합니다. 즉, 고객 증대가 우연히 발생할 수 있는 값인지, 아닌지 그 확률값을 구해서 새로운 혜택이 고객 증대를 늘린 것이 우연히 발생한 것인지, 아니면 우연히 발생한 것이 아니라 유의한 것인지를 결정하는 것입니다.
이제 밑에서 더 자세하게 p-value에 대해서 정리를 해보겠지만 회사에서 더 중요한 지식을 하나 작성하고 넘어가보려고 합니다. 뭐 0.05가 뭐고 그런걸 떠나서 그래서 p-value를 구해서 유의한 거라면 그게 뭐 어떤 의미인데? 입니다. 사실 유의하다고 그게 정말 대단한 것은 아닙니다. 정말 말 그대로 새로운 혜택이 고객 증대에 영향을 미쳤다는 것 뿐입니다. 영향을 적게 미쳤을 수도, 크게 미쳤을 수도 있습니다. 그건 이 단계에서는 아직 알 수 없습니다. 다만 우리는 딱 이러한 결론에 미칠 수는 있습니다.
새로운 혜택이 고객증대에 영향을 미쳤다
우리는 아직 그 혜택으로 인해서 얼마나 고객 증대가 되었는지는 모릅니다. 따라서 유의하니 이 이벤트는 좋다! 라고 말할 수는 없습니다. 그러한 내용에 대해서는 추후 다루도록 하겠습니다.
02. 5%는 어디서 나왔을까?
p값은 그래서 사건이 우연히 발생할 확률이라고 설명할 수 있습니다. 그럼 그 우연히 발생할 확률이 어느 정도되면 유의하다고 볼 수 있을까요? 그럴 때 사용하는 기준이 보통 5%입니다. 즉 p-value가 5%보다 크다면, 다시 말해 우연히 발생할 확률이 5%보다 높다면 해당 사건은 유의하지 않습니다. 충분히 우연히 발생할 수 있다고 생각할 수 있습니다. 그렇다면 5%보다 낮다면요? 해당 사건은 유의합니다. 해당 사건이 우연히 발생할 확률을 5%보다 낮고 즉 일어날 확률이 낮다는 겁니다.
이럴 때 해당 사건이 발생한 건 우연이 아니라 어떤 이유가 있다고 볼 수 있습니다. 즉, 위 케이스에 대입해보면 고객증대가 발생한 건 어떤 이유(새로운 혜택)가 있기 때문이라고 말할 수 있습니다. 그런데 도대체 이 5%는 어디서 나온 숫자일까요?
사실 이 5%라는 수치가 절대적인 기준은 될 수 없습니다. 지금껏 이 숫자를 사용해왔으니까, 다들 이 숫자를 사용하니까, 전공책에 그렇게 적혀있으니까.. 는 이유로 해당 수치가 절대적인 기준이 되는 건 아니니까요. 어떤 배경에서 p-value를 사용하느냐에 따라서 각자 다른 기준을 사용할 수 있어야 합니다. 위처럼 어떤 혜택이 고객 증대에 영향을 미쳤는지 판단하는 것이 아니라 의약제품이 환자에게 어떤 결과를 미쳤는지 판단하는 상황처럼 엄격한 잣대가 필요한 상황에서는 5%가 아니라 1%처럼 더욱 엄격한 잣대를 사용할 수도 있다는 의미입니다. 따라서 5%가 절대적인 기준이라는 생각은 버려야 합니다.
뿐만 아니라 p-value는 여러 방법으로도 쉽게 왜곡될 수 있습니다. effect size가 달라지거나 표본의 크기가 달라지면서 쉽게 p-value는 왜곡될 수 있습니다. 또한 실험자체가 유의미한 p-value를 가지도록 설계할 수도 있습니다. 따라서 p-value는 매우 편리한 도구이긴 하지만 여러 의미로 조심해서 해석을 해야 합니다.
03. 마치며
p-value를 더욱 제대로 이해하기 위해서는 가설, 오류 등에 대해서 공부를 해야 합니다. 물론 데이터 분석가 실무에서는 해당 지식이 필요하지 않을 수 있지만 그럼에도 제대로 된 이해를 위해서 추가적으로 정리하도록 하겠습니다. 그리고 다음 통계 주제로는 이러한 p-value와 함께 사용되는 t-stat을 다루거나 t-검정에 대해서 다뤄보도록 하겠습니다.
