[데이터 분석과 비판적 사고]을 읽고-과도한 비교,부실한 보고

---

과도한 비교,부실한 보고

• 분석가가 비교를 많이 하고, 그 중 통계적으로 유의한 결과만 보고하면 위양성 결과와 과대추정이 많이 발생한다.
• 위양성 결과는 비도덕적 행동으로 인해 생기곤 한다.
  하지만 정직한 연구자들 집단에서 생기기도 한다.

---

출판 편향

• 수많은 비교를 수행하는 과도한 비교와
  통계적으로 유의한 결과만 골라서 보고하는 부실한 보고는 함께하면 위험한 조합임에도 불구하고 널리 퍼져있다.
  =>과도한 비교와 부실한 보고의 결과로,
  p-value 값이 틀리는데 그치지 않고, 연구 발표로부터 모은 추정치들이 실제 추정 대상의 크기를 과대추정한다.
  => 모든 추정치를 평균할 때 추정치 수가 아주 많다고 해도 실제 추정 대상에 접근하지 못한다
  => 이것이 바로 출판 편향이다.

과도한 비교와 부실한 보고는 다양한 방식으로 일어난다

• p-해킹
  실험을 수행하거나 비교를 하거나 통계적 모델을 설정하는 다양한 방법을 탐색해서,
  통계적으로 유의한 결과를 내는 방법을 찾아내고,그런 결과만 보고하는 행동

1.통계적으로 유의한 결과가 나올 때까지 비슷한 실험을 계속 시도
2.실험 방식을 과도하게 탐색하는 일 
3.여러 가지 다른 산출물을 시도하는 방식 

=> '과도한 비교'를 일으키는 방식 

=> p-해킹은 여러 가지 형태를 띨 수 있으며, 분석가라면 이를 피하려고 노력해야 한다.

• p-검열
  연구자 공동체가 표준 연구 발표 절차를 통해서, 문턱값을 넘는 p-값을 얻은 연구는
  배제함으로써,'출판 편향'이 일어나도록 만드는 과정

[출판 편향]
통계적으로 유의한 결과만 발표하는 경향으로 인해 
발표된 결과가 일관되게 과대추정하는 현상 

[p-해킹]
부정직한 연구자가 효과가 없는 실험 결과를 숨기기 때문에 
우리는 이를 접하지 못한다. 
[p-검열]
정직한 연구자들이 그런 결과를 발표하지 않기 때문에 
우리는 이를 접하지 못한다.

=> 결과적으로 둘다 통계적으로 유의한 결과만 보고되므로, 
우리가 접하는 연구 결과는 '출판 편향'문제를 겪는다. 

대부분의 과학적 '사실'이 거짓일까?

• p-해킹을 탐지하는 요령

발생 가능한 4가지 경우에서 발표된 문헌의 
p-값 분포가 어떤 식일지 생각해본다.

1.실제로는 아무 관계가 없고 p-해킹도 일어나지 않았다.
2.실제로 어떤 관계가 있고 p-해킹도 일어나지 않았다.
3.실제로는 아무 관계가 없는데 p-해킹이 일어났다. 
4.실제로 어떤 관계가 있는데 p-해킹이 일어났다. 

1번:p-해킹이 일어나지 않았다면 p값은 거의 고르게 
분포해야 한다. 
2번: 실제 관계를 탐지한다는 사실을 반영해
낮은 p-값이 더 많아야 한다. 
3번:p-해킹의 유혹에 빠진다면 p값이 0.5미만이 될때까지 
실험 방법,하위 집단등을 바꿔 가면서 시도하고 보고
=> 높은 p-값이 낮음 p-값보다 더 많이 보인다. 

가능성 있는 해법

• 사전 등록
  연구 수행 이전에,시험하려는 대상과 시험 절차를 정확히 작성해서 발표함으로써, 자신들의 연구 내용을 사전 등록
  =>이 방법은 과도한 비교 및 부실한 보고를 방지한다.

• 재현
  추정 효과가 실제로 유효한지 판별하는 방법 한 가지는 독립적으로 생성한 새 데이터에서
  재현하는 것이다.

  • 재현이 어떤 때는 유효하고 어떤 때는 그렇지 않다.