再現性：同一の神経画像化データの、複数のチームによる解析のばらつき

多くの科学分野において、データ解析のワークフローはますます複雑で統一性のないものになってきている。今回我々は、この不統一性が機能的磁気共鳴画像の解析結果に及ぼす影響を評価するため、世界各地の70の独立した研究チームに対して、同一のデータセットを解析して事前に設定した同一の9つの仮説を検証するよう依頼した。その結果、解析手法の不統一性が、どの2つの研究チームをとっても、解析に同一のワークフローを用いていなかったという事実によって例示された。この不統一性から、仮説検証の結果には大きなばらつきが生じ、こうしたばらつきは、解析手順の中間段階での統計マップが極めて相関していたチーム間でも見られた。報告された結果に見られる差異は、解析方法論中のいくつかの解釈に関連していた。注目すべきことに、各チームの情報を集めたメタ解析手法では、活性化した脳領域について有意なコンセンサスが得られた。さらに、この分野の研究者の予測市場（prediction market）から、データセットを直接知っている研究者でさえ、重大な発見の可能性を過大評価していることが明らかになった。今回の知見から、解析法の不統一性が科学的結論に大きな影響を及ぼし得ることが分かり、機能的磁気共鳴画像化の解析におけるばらつきと関連している可能性のある要因が複数特定された。今回の結果は、複雑な解析ワークフローの検証と共有の重要性を強調しており、同一データについて複数の解析を実行して公表する必要性を実証している。我々は、解析のばらつきに関連した問題を改善するためにとり得る方法についても考察する。

目次へ戻る