Research press release

Nature誌やScience誌に発表された社会科学研究に再現性はあるか?

Nature Human Behaviour

Do social science studies published in Nature and Science replicate?

2010~2015年にNatureおよびScienceに発表された21件の実験社会科学研究を再現する取り組みの結果を報告する論文が、今週掲載される。今回用いられた主要な再現方法から、評価対象となったNatureに掲載された4報中1本、Scienceに掲載された17報中7本の論文に再現性が見られないことが判明した。

「どの科学的知見が信用できるのか」の程度を知ることは非常に重要である。さまざまな分野の学術誌において発表済みの研究の再現を試みる最近の取り組みでは、かなりの数の研究に再現性が見られないことが分かっている。しかし、再現率を過小評価しないためには、標本数が大きく検出力の高い再現性研究が必要である。

Colin Camerer、Brian Nosekたちの研究グループは、21件の実験社会科学研究を対象に、当初の研究の約5倍の標本数を用いて、検出力の高い再現実験を試みた。その結果、再現実験の62%で、当初の研究と同じ方向の効果が見られることが分かった。効果は57~67%の範囲で、再現性の判定の仕方に左右された。著者たちは、当初の研究には偽陽性と過剰な効果サイズの両方が含まれていた可能性を示唆している。また、400人の社会科学者を対象とした調査から、個々の研究の再現性に関する研究コミュニティの期待と現実の間には強い相関が見られることも報告している。

関連する8報のCorrespondenceでは、再現性の見られなかった論文の著者たちが、なぜ自分たちの得た結果が再現されなかったのかについて、再現不可能性の要因に関する見解と共に論じている。また、News & ViewsではMalcolm Macleodが、再現性研究は、社会科学の強固な基盤を確立するために必要であり、確実な科学的結論に至る可能性のあるパラメーターに関する重要な研究につながるだろうと主張している。

doi:10.1038/s41562-018-0411-7 | 英語の原文
doi:10.1038/s41562-018-0403-7 | 英語の原文
doi:10.1038/s41562-018-0424-2 | 英語の原文
doi: 10.1038/s41562-018-0404-6 | 英語の原文
doi:10.1038/s41562-018-0409-1 | 英語の原文
doi:10.1038/s41562-018-0426-0 | 英語の原文
doi:10.1038/s41562-018-0408-2 | 英語の原文
doi: 10.1038/s41562-018-0399-z | 英語の原文

The results of efforts to replicate 21 experimental social science studies published in Nature and Science between 2010 and 2015 are reported in Nature Human Behaviour this week. The primary replication method used in the study found that one out of the four Nature papers and seven of the seventeen Science papers evaluated did not replicate.

Understanding the extent to which scientific findings can be trusted is of fundamental importance. Recent attempts to replicate published research from across various fields and journals found that a substantial number of studies do not replicate. To ensure replication rates are not being underestimated, however, higher-powered replication studies with larger sample sizes have been called for.

Colin Camerer, Brian Nosek and colleagues conducted high-powered replications of the 21 experimental social science studies - using sample sizes around five times larger than the original sample sizes. They find that 62% of the replications show an effect in the same direction as the original studies. This effect varies between 57% and 67%, depending on how replicability is determined. The authors suggest that the original studies are likely to have contained both false positives and inflated effect sizes. Based on a survey of 400 social scientists, the authors also report a strong correlation between the research community’s expectations of each study’s replicability and the reality.

In an associated collection of eight Correspondences, non-replicating study authors discuss why their results did not replicate, providing their views into potential sources of irreproducibility. In an accompanying News & Views, Malcolm Macleod argues that replication studies are necessary for establishing a solid foundation for the social sciences, and can generate important new research into the parameters that could lead to more robust scientific conclusions.

doi:10.1038/s41562-018-0411-7 | Original article
doi:10.1038/s41562-018-0403-7 | Original article
doi:10.1038/s41562-018-0424-2 | Original article
doi: 10.1038/s41562-018-0404-6 | Original article
doi:10.1038/s41562-018-0409-1 | Original article
doi:10.1038/s41562-018-0426-0 | Original article
doi:10.1038/s41562-018-0408-2 | Original article
doi: 10.1038/s41562-018-0399-z | Original article

doi: 10.1038/s41562-018-0405-5

「Nature 関連誌注目のハイライト」は、ネイチャー広報部門が報道関係者向けに作成したリリースを翻訳したものです。より正確かつ詳細な情報が必要な場合には、必ず原著論文をご覧ください。

メールマガジンリストの「Nature 関連誌今週のハイライト」にチェックをいれていただきますと、毎週最新のNature 関連誌のハイライトを皆様にお届けいたします。

「注目のハイライト」記事一覧へ戻る

プライバシーマーク制度