Nature誌やScience誌に発表された社会科学研究に再現性はあるか？

2010～2015年にNatureおよびScienceに発表された21件の実験社会科学研究を再現する取り組みの結果を報告する論文が、今週掲載される。今回用いられた主要な再現方法から、評価対象となったNatureに掲載された4報中1本、Scienceに掲載された17報中7本の論文に再現性が見られないことが判明した。

「どの科学的知見が信用できるのか」の程度を知ることは非常に重要である。さまざまな分野の学術誌において発表済みの研究の再現を試みる最近の取り組みでは、かなりの数の研究に再現性が見られないことが分かっている。しかし、再現率を過小評価しないためには、標本数が大きく検出力の高い再現性研究が必要である。

Colin Camerer、Brian Nosekたちの研究グループは、21件の実験社会科学研究を対象に、当初の研究の約5倍の標本数を用いて、検出力の高い再現実験を試みた。その結果、再現実験の62％で、当初の研究と同じ方向の効果が見られることが分かった。効果は57～67％の範囲で、再現性の判定の仕方に左右された。著者たちは、当初の研究には偽陽性と過剰な効果サイズの両方が含まれていた可能性を示唆している。また、400人の社会科学者を対象とした調査から、個々の研究の再現性に関する研究コミュニティの期待と現実の間には強い相関が見られることも報告している。

関連する8報のCorrespondenceでは、再現性の見られなかった論文の著者たちが、なぜ自分たちの得た結果が再現されなかったのかについて、再現不可能性の要因に関する見解と共に論じている。また、News & ViewsではMalcolm Macleodが、再現性研究は、社会科学の強固な基盤を確立するために必要であり、確実な科学的結論に至る可能性のあるパラメーターに関する重要な研究につながるだろうと主張している。

doi: 10.1038/s41562-018-0405-5

「注目の論文」一覧へ戻る