1) 재현 가능성

• 우연히 결과가 나오는 것이 아닌, 항상 일관된 결과가 나오는지 확인해야함.

재현 가능성이란?

• 동일한 연구나 실험을 반복했을 때 일관된 결과가 나오는지 여부, 연구의 신뢰성을 높이는 중요한 요소
  ex) 신약이 실험실만이 아닌 실제에서도 일관된 결과가 나오기때문에 개발 가능한 것.
• 최근 p값에 대한 논쟁이 두드러짐
  • p값을 사용하지 않는 것이 좋다.
  • 유의수준을 0.05에서 변경하는 것이 좋다.
• 가설검정 원리상 문제나 가설검정의 잘못된 사용이 낮은 재현성으로 이어진다는 문제 발생.
• 최근 논문을 다시 재현해서 실험을 해보는데 똑같은 결과가 안나오는 사례가 많은 재현성 위기가 문제가 됨

중요성

• 결과가 재현되지 않는다면 해당 가설의 신뢰도가 떨어짐

2) 재현성 위기의 원인은 무엇인가

실험 조건을 동일하게 조성하기 어려움

• 완전 동일하게 다시 똑같은 실험을 수행하기 어려움
• 가설검정 자체도 100% 검정력을 가진것이 아니라 오차가 나타날 수 있음

가설검정 사용방법에 있어서 잘못됨

• p값이 0.05가 유도하게끔 조작하는 것이 가능 (p해킹)
• 실제로는 통계적으로 아무 의미가 없음에도 의미가 있다고 해버리는 1종 오류를 저지를 수 있음
• 0.05라는 것은 100번 중 5번 즉, 20번 중에 1번은 귀무가설이 옳음에도 불구하고 기각될 수 있음
• 유의수준으로 통제하는 것이 중요
• 하지만, 유의수준을 너무 낮추면 베타값이 커져버리는 문제 발생
• 따라서, 어떤 논문에선 유의수준을 0.005로 설정하면서 데이터 수를 70% 늘려 베타 값도 컨트롤 하는 방향을 제안
• 잘못된 가설을 세워도 우연히 0.05보다 낮아서 가설이 맞는거서럼 보일 수도 있음. 따라서 가능한 좋은 가설을 세우는 것도 중요