World View

論文撤回から学んだこと

Nature ダイジェスト Vol. 18 No. 4 | doi : 10.1038/ndigest.2021.210422

原文:Nature (2021-01-19) | doi: 10.1038/d41586-021-00073-4 | What my retraction taught me

Ben de Haas

キャリアインセンティブは、間違いがないふりをするよりもむしろ、好奇心の共有に見返りを与えるべきだ。

MAREN URNER | 拡大する

パンデミックの真っただ中、私は2014年に発表した論文の基礎となった実験のデータを入手できるかどうかを尋ねるメールを受け取った。3カ月後、私は、その論文の撤回を求めた。だが、私はこれを苦い経験だとは思っていない。それどころかこのことが、研究に対する最初のモチベーションを思い出させてくれたのだ。

この問い合わせは私が誇りに思っていた研究に関するものだった。私たちの研究チームは脳イメージング実験で、数十人の被験者に視覚課題に取り組んでもらった。課題は難しいものか易しいもののどちらかだった。私たちは注意散漫が、無関係の刺激の処理にどのように影響するかを知りたかった。実験結果は、注意散漫が脳の視覚野におけるイメージの表現をぼかし、一種の「神経の視野狭窄」を引き起こすことを示唆した。胸躍る結果だと当時の私たちは考えた。ところが、それが統計的な人工産物であった可能性が判明する。

警告を発したのが知り合いの研究者だったことは救いだった。Susanne Stollは、ロンドン大学ユニバーシティカレッジ(UCL;英国)の神経科学者Sam Schwarzkopfの下で学ぶ、博士課程の学生だった。私たちはブリュッセルで開かれた2019年の学会で、Stollの出した困惑させられる研究結果について話し合っていた。彼女は、私が博士課程でSchwarzkopfらと共同で行った研究を土台としたプロジェクトに取り組んでいた。

Stollと彼女の共同研究者たちは、私を犯人扱いすることは決してなく、同じ船に乗る同僚の1人として見てくれた。私たちは皆、彼女の研究で予想外の結果が出た理由を知りたかった。また彼らは私に、分析における1つの問題が、私の研究に(そして、おそらく他の多くの研究にも)どのように影響した可能性があるかを教えてくれた。それは、平均への回帰に関わるものだった。平均への回帰とは、ノイズの多いデータは繰り返して測定されるうちに、初めは極端に見えた値がそれほど極端に見えなくなる、というものだ。私は懐疑的だったが、結局のところ、私の論文における影響は正反対だった。パラメーター値は平均から離れていったのだ。

私たちは、オンラインビデオ会議をセットアップした。Stollがシミュレーションを調べ直し、私は古いデータを掘り起こすことができればそれを調べ直す、ということが決まった。それは難題だった。ほんの数カ月前、私が所属している大学がサイバー攻撃を受け、私のバックアップドライブへのアクセスが最初は禁止されていたのだ。「データは失われた」と他の人たちに言うのは簡単だっただろう(実際、データ消失はよくあることだ)。

しかし、StollとSchwarzkopfは謎を解明したがっており、その好奇心は伝染性だった。私は1週間を費やして、必要なファイルをつなぎ合わせ、もともとの研究結果を再現するためのパイプラインをコードした。そして、恐ろしいことに、Stollが見つけた問題は私自身によっても再現されたのだ。主要な問題は、私が選択と比較に同じデータを使用していたことだった。この循環性は何度も何度も出現した。Stollが発見するまで、これが私たちの特定の状況においては問題となり得るということに、私も共同研究者たちも、そしてこの分野の誰も、気付かなかった。結果として生じるバイアスは、典型的な例と非常に異なっており、シミュレーションとデータのストレス試験でのみ明らかになるものだった。

突然、全てがはるかに重大に感じられた。私はすぐに、この調査結果の概要を作成して、元の論文の共著者にそれを送り、撤回告知の最初の草稿も添えた。UCLの私の博士課程アドバイザーであったGeraint Reesからの回答を、私は決して忘れることはないだろう。彼のメールはこう始まった。「私たちの方法論と研究結果を理解する試みを粘り強く続けていることは素晴らしい!」。彼は、これをさらに深く掘り下げて、バイアスのない分析を行うよう私を励ました。再分析によって、私たちの最初の研究結果と同じ傾向は示されたが、それは私たちが思っていたよりもはるかに弱いものだった。

というわけで、私たちは論文を撤回することにした。私たちの撤回公告では、他の研究者がこの誤りから学びを得られるよう、事の経緯を説明し、Stollが主導した技術的論文を示した(S. Stoll et al. Preprint at bioRxiv https://doi.org/fqs8; 2020)。ここ数年で、神経イメージング分野の研究者たちは、いくつかの起こり得る落とし穴を発見し、それに従ってやり方を変えてきた。我々もこの進化に貢献し、シミュレートされたデータによる健全性チェックなどの改善を促進していきたいと考えている。

しかし、今回得られた教訓は、技術的なことだけではない。

私は、ほとんどの科学者は自分たちのデータと結論をより厳しい目で見ようと考えるようになると思う。彼らは学ぶというごくシンプルな願望によって突き動かされているからだ。だが、私たちは皆、誤りや否定的結果を申告することが経歴の汚点になりかねないというキャリアインセンティブに直面している。これまでのところ、私も共著者も撤回による影響を経験していないが、私たちにはそういうリスクに立ち向かう覚悟がある。私は終身在職権のないジュニアPI(研究主宰者)で、このパンデミック下で、ホームスクーリングへの対応とリモートワークを何とか行っている状態だ。だから、再分析や撤回が、時間とCV評価においてどれくらい高くつくかを切実に感じている。学生のときには、論文を発表する前に再現実験を絶対に試みないようにと言われさえした。けれども、それは私が求めているキャリアではない。運よく、私の博士課程アドバイザーは正反対のことを私に教えてくれた。

私たちに必要なものは、開示性と好奇心を育むインセンティブであり、そもそもそれが研究者を目指す動機となったのだ。競争相手を悪人と見なしたり、データを売り込もうとするか隠蔽しようとしたり、あるいは魔女狩りを始めたりすれば、最初に目指したものとは逆の方向に行ってしまうだけだろう。

お互いを、「世界を理解する」という共通の目標を持った同輩と見ることで、ウィンウィンの関係が築かれる。私が2017年にデータとコードを公表し始めた理由は、自分自身の研究が、同じことをしてくれた他の研究者からどれほどの恩恵を受け得るか分かっていたからだ。知りたいという強い気持ちによって、Stollは不可解な結果を追求し続け、私は自身のデータを再分析し、同僚たちはその過程で私たちをサポートしようと考えたのだ。

科学の進歩には常に、誤りの検出と修正が関わってくるだろう。一部の終身在職権審議委員会と助成金分配機関は、候補者にオープンサイエンスを実行しているかどうかを尋ね始めている。私はさらに、「あなたは誤りから何を学んだか」という質問も加えることを提案する。

(翻訳:古川奈々子)

Ben de Haasは、ユストゥス・リービッヒ大学ギーセン(ドイツ)の実験心理学者。

キーワード

Nature ダイジェスト Online edition: ISSN 2424-0702 Print edition: ISSN 2189-7778

プライバシーマーク制度