メタ研究：社会・行動科学における分析的頑健性の調査

同じデータセットで同じ研究課題（リサーチクエスチョン）に答えるためでも、正当と認められる異なる方法でそれらを分析することができる。これは経験科学の頑健性を揺るがす可能性がある。多数の研究者が参加する本イニシアチブで、我々は、社会・行動科学における研究知見が、分析者の選択にどの程度左右されるかを調べた。我々は、2009〜2018年に発表された研究から無作為に層化抽出した100件を調べ、各研究当たり1つの主張に対して、少なくとも5人の再分析者が独立に原著のデータを再分析した。この再分析の統計学的妥当性はピアによる評価によって評価され、頑健性指標はさまざまな研究特性や研究デザインに沿って調べられた。その結果、独立した再分析の34％で原著の報告と同じ結果が得られ（コーエンのdで± 0.05の許容範囲）、許容範囲を4倍広げると、この指標は57％に上昇した。実施した再分析のうち、74％は原著研究と同じ結論に達したが、24％は無効あるいは結論が出ない結果となり、2％では逆の効果が報告された。この探索的研究は、社会・行動科学の研究で一般的な単一の方法による分析が、別の分析法に対して頑健であると簡単に見なすべきでないことを示している。従って我々は、この見過ごされてきた不確実性の根源を調べて共有する研究実践の開発と利用を推奨する。

目次へ戻る