「確証バイアスを学んでからは、至る所で確証バイアスに気付くようになった」と英国の作家でブロードキャスターであるジョン・ロンソンは“So Youʼve Been Publicly Shamed”（出版元：Picador、出版年：2015）で述べている。Nature 2015年10月8日号にも確証バイアスが随所に盛り込まれている。つまり、バイアスが研究に及ぼす影響を分析し、そうした影響を見つけ出し、取り組むための最良の方法を検討した一連の記事とCommentを掲載しているのだ。我々の人間性、例えば、正しい結果を得たいという気持ち、ノイズにパターンを見いだしてしまう習性、正しいと確信していることを裏付ける証拠を見いだし、合わない事実を無視する習性などは、事実を積み上げ真理に迫るロバストな科学にとっての敵だ。

そうした認知バイアスの原因と種類、そして、認知バイアスによって生じる誤謬は、広く認識されてきている。この問題の中には、科学が始まった時から存在が認識されていたものもあれば、新しい問題もある。その一例が、消費者が自分で組み立てた製品を不自然に高く評価するというイケア（IKEA）効果で、認知バイアスの一種である。また、テキサスシャープシューター効果（銃を数発発砲して弾の当たった箇所を中心に後から的を描き、命中率が高かったように見せる）は、一般的な研究上の誤謬だ。この他に非対称的な注意というものもある。これは、自分が支持する仮説と矛盾する内容の解析結果には修正を、データには反証を注意深く行うのに、支持する仮説に有利な証拠には検証は行わないことをいう。

こうした誤謬は、明々白々で、簡単に避けられるように思える。そのため、研究者自身は誤謬の影響を受けないと考えがちだ。その結果、この誤謬は必然的に研究者の盲点になっている（Nature 2015年10月8日号182ページ参照）。

ロバストな科学を推進する者は、誤りを生じさせる数々の認知的習性に用心すべきだと繰り返し発言してきた。そうした自覚は不可欠なことだが、それだけでは不十分だ。科学コミュニティーは、その中で生じるあまりに人間的なバイアスを管理し、それによって生じる誤りを回避する方法に関する具体的な助言を必要としている。

それが特に切実に必要とされているのが、統計的データ解析だ。最も確立されたデータ解析法の中には、数テラバイトのデータセットが登場する前に開発されたものがあり、手法の選び方次第で誤差が生じる可能性が大きくなっているのだ。例えば、プロテオミクスとゲノミクスの研究では、数千個のタンパク質多様体や遺伝子多様体における数百万ものデータポイントの解析が一度に行われる。初期の統計的解析は偽陽性に悩まされたが、その後、データが豊富なこうした環境で生まれる無数の仮説を説明できる手法が普及した。

問題は解消されていないものの、これらの研究分野は、コミュニティー内での誤りを認識し、防止する方法を習得しつつある科学コミュニティーの一例といえる。もう1つの例は、二重盲検試験がしっかりと行われている科学コミュニティーだ。しかし、さらなる改善の余地があり、特に「根拠に基づいたデータ解析（evidence-based data analysis）」と一部で呼ばれている手法には、より多くの力を注ぐ必要がある。具体的には、データセットのクリーニングとデバッグ、モデルの選択やその他の解析段階からなる解析パイプラインの標準を構築する上で最も効果的な手法を明らかにするための研究を進める必要があるのだ。

もっと具体的に言うと、統計処理の初心者（と、それほど初心者ではない者）が最も犯しやすい誤りを割り出す方法が科学には必要だ。科学コミュニティーでは、こうした誤りを予防する研究プロトコルを設計し、ずさんなデータ解析をあぶり出す方法を考案しなければならない。

すでに一部の研究者がこうした作業を上手にこなしているため、知識と資源を「専門家のグループ」という狭い世界から「科学コミュニティー」という広い世界へと移転させる過程を改善することが、その方法を見いだすための比較的単純な戦略となり得るだろう。もし、評価が高く、簡単に実施できる別のデータ解析法が利用可能で、その利用が推奨されるようになれば、意識的なバイアスや無意識のバイアスで操作されて研究者が望む結果を生み出してしまう解析法をいつまでも用い続けることは難しくなるだろう。これを促進するためには、研究助成機関は、最良の解析法を決定しようと試みている研究チームを支援し、その他の者にはデータ解析の研修を実施すべきだ。また、研究機関や研究代表者は、そうした研修の義務化を図るべきだ。

さらに、科学コミュニティーは、統計学的な予防措置にとどまらず、研究者の行動も改善しなければならない。信頼性の低い研究に対する懸念が生まれており、よりロバストな解析結果を得るための方法に関する研究がすでに始まっている。その中で最も有望な方法の一部は、手法にとどまらず研究風土にも切り込んでいる。研究室や職場では、その習慣のために厳密性が弱まることがある一方で、盲検化、解析計画の事前登録、クラウドソーシングによる解析、帰無仮説と対立仮説の正式提示、探索的データ解析もしくは確証的データ解析と表示することによって、厳密性が増すこともあるからだ。

そうした戦略には努力が必要だが、報酬も大きい。盲検解析では、研究者が仮説上の結果に対する説明を必死で見つけ出そうとする際に創造的思考を行うことが強いられる。Nature 2015年10月8日号187ページのCommentでは、どんな報酬が得られるか掘り下げ、盲検解析を試す準備のできた研究者に作業のコツを示している。

また、同じデータセットであっても、解析法が異なれば、さまざまな解析結果が得られることが、クラウドソーシングによって明らかになっている。このことから、1つの研究チームによる解析結果が物事の一面しか伝えていないことが見えてくる。Nature 2015年10月8日号189ページのCommentが示しているように、クラウドソーシングによる解析と学際的プロジェクトでは、解析法の比較を複数の研究分野にわたって実施できるだけでなく、1つの研究分野に他の分野にも役立つ教訓が潜んでいる可能性が明らかになっている。異なる解析法が用いられる一因は、ベストプラクティス（最良慣行）を選択したからではなく、風土による偶然（「いつもこの方法でやっていたから」）である可能性が非常に高い。この点は変えるべきだ。

そうした慣行によって科学が実際に強化されるためには、科学者は、このような戦略自体を科学的に精査しなければならない（推奨されたバイアス対策を頭から信じるべきではないのだ）。この点で、社会科学者が重要な役割を担っており、活動中の科学を研究することは不可欠だ。科学者を入念に観察すれば、どの状況下でどの戦略が最も効果的なのかを検証でき、バイアスをなくす戦略を日常の科学活動に組み込む最良のやり方を模索できる。

研究助成機関は、盲検解析、クラウドソーシング、登録された解析計画の審査に関して最良の方法を確立するための研究を支援すべきであり、メタ科学者がそれらの慣行の検証と比較ができるように助力すべきだ。こうした戦略の有用性と負担をさまざまな状況下で検討し、その結果を査読論文誌上で発表することが理想的である。また、このような情報は、研修プログラムに取り入れることで、次世代の科学者が優れた科学研究を行うための備えを高めることができると考えられ、こうした研修プログラムは大いに必要とされている。

科学者の思い違いを防止するための最良の方法を見つけることは、これまで主に芸術の一形式であり、理想であったが、今こそこれを科学で具現化すべきだ。ロバストな科学を築き上げるためには、認知バイアスを取り除く作業が至る所で行われる必要があるのだ。

翻訳：菊川要