Research press release


Nature Human Behaviour

Do social science studies published in Nature and Science replicate?



Colin Camerer、Brian Nosekたちの研究グループは、21件の実験社会科学研究を対象に、当初の研究の約5倍の標本数を用いて、検出力の高い再現実験を試みた。その結果、再現実験の62%で、当初の研究と同じ方向の効果が見られることが分かった。効果は57~67%の範囲で、再現性の判定の仕方に左右された。著者たちは、当初の研究には偽陽性と過剰な効果サイズの両方が含まれていた可能性を示唆している。また、400人の社会科学者を対象とした調査から、個々の研究の再現性に関する研究コミュニティの期待と現実の間には強い相関が見られることも報告している。

関連する8報のCorrespondenceでは、再現性の見られなかった論文の著者たちが、なぜ自分たちの得た結果が再現されなかったのかについて、再現不可能性の要因に関する見解と共に論じている。また、News & ViewsではMalcolm Macleodが、再現性研究は、社会科学の強固な基盤を確立するために必要であり、確実な科学的結論に至る可能性のあるパラメーターに関する重要な研究につながるだろうと主張している。

doi:10.1038/s41562-018-0411-7 | 英語の原文
doi:10.1038/s41562-018-0403-7 | 英語の原文
doi:10.1038/s41562-018-0424-2 | 英語の原文
doi: 10.1038/s41562-018-0404-6 | 英語の原文
doi:10.1038/s41562-018-0409-1 | 英語の原文
doi:10.1038/s41562-018-0426-0 | 英語の原文
doi:10.1038/s41562-018-0408-2 | 英語の原文
doi: 10.1038/s41562-018-0399-z | 英語の原文

The results of efforts to replicate 21 experimental social science studies published in Nature and Science between 2010 and 2015 are reported in Nature Human Behaviour this week. The primary replication method used in the study found that one out of the four Nature papers and seven of the seventeen Science papers evaluated did not replicate.

Understanding the extent to which scientific findings can be trusted is of fundamental importance. Recent attempts to replicate published research from across various fields and journals found that a substantial number of studies do not replicate. To ensure replication rates are not being underestimated, however, higher-powered replication studies with larger sample sizes have been called for.

Colin Camerer, Brian Nosek and colleagues conducted high-powered replications of the 21 experimental social science studies - using sample sizes around five times larger than the original sample sizes. They find that 62% of the replications show an effect in the same direction as the original studies. This effect varies between 57% and 67%, depending on how replicability is determined. The authors suggest that the original studies are likely to have contained both false positives and inflated effect sizes. Based on a survey of 400 social scientists, the authors also report a strong correlation between the research community’s expectations of each study’s replicability and the reality.

In an associated collection of eight Correspondences, non-replicating study authors discuss why their results did not replicate, providing their views into potential sources of irreproducibility. In an accompanying News & Views, Malcolm Macleod argues that replication studies are necessary for establishing a solid foundation for the social sciences, and can generate important new research into the parameters that could lead to more robust scientific conclusions.

doi:10.1038/s41562-018-0411-7 | Original article
doi:10.1038/s41562-018-0403-7 | Original article
doi:10.1038/s41562-018-0424-2 | Original article
doi: 10.1038/s41562-018-0404-6 | Original article
doi:10.1038/s41562-018-0409-1 | Original article
doi:10.1038/s41562-018-0426-0 | Original article
doi:10.1038/s41562-018-0408-2 | Original article
doi: 10.1038/s41562-018-0399-z | Original article

doi: 10.1038/s41562-018-0405-5


メールマガジンリストの「Nature 関連誌今週のハイライト」にチェックをいれていただきますと、毎週各ジャーナルからの最新の「注目のハイライト」をまとめて皆様にお届けいたします。