科学が社会にもたらす恩恵は実にさまざまだ。それにもかかわらず、世界の研究助成機関は今、インパクトの大きい研究を探し出し、そうした研究を奨励する方法を見いだそうと躍起になっている。

2015年1月、この問題に関する新たなデータが英国から提出された。英国の各大学の研究がもたらした経済的・文化的・社会的恩恵に関する約7000件の事例だ。これは、英国高等教育財政審議会（HEFCE）が、そのユニークな研究評価制度の一環として各大学に提出させたものである。Natureは独自にこれらの分析を行い、研究者がHEFCEに自分の研究の価値をアピールするためにどう表現したかを明らかにした他、「million」「market」などの言葉を多用した事例が高評価を得ていたことを突き止めた。

多くの研究助成機関は、助成金申請者に対して「大きなインパクトを与える研究を計画するように」と要請している。これに対して英国は、すでに達成されたインパクトに対して報奨を与えようと考えたと、HEFCEの研究政策部長を務めるSteven Hillは説明する。英国には監査の文化が根付いている。各大学の研究は、数年ごとに質を評価されて等級をつけられ、この評価に基づいて年間総額20億ポンド（約3600億円）の助成金の分配を受けている。一方、評価の体系は研究卓越性枠組（Research Excellence Framework；REF）と呼ばれている。2014年版では規定の一部が改定されて、大学の等級を決定する際に、研究のインパクトが20％の割合で考慮されることになった。それに伴い各大学は、2008～2013年の間に自分たちの研究が及ぼした広範なインパクトに関する詳細な事例研究報告書も提出することになった（http://doi.org/zx8; 2014参照）。

規定の変更を受け、各大学は大変な手間暇をかけて事例研究を行った。中には、専門のライターやコンサルタントを雇い入れる大学もあった。ロンドン大学ユニバーシティカレッジの研究副学長David Priceによると、同大学は300件の事例研究を行ったが、15人が1年がかりで行うほどの膨大な作業量になったため、その手伝いにフルタイムのスタッフを4人も雇い入れたという。

これらの事例は、世界に強烈な印象を与えた。ジョージア工科大学（米国アトランタ）で科学技術政策を研究しているDiana Hicksは、「どこの国の政府も、研究が社会に及ぼす影響を知りたがっていますから」と言う。また彼は、「散発的な事例研究しか行われていない場合、広範囲にわたる分析を行うことは困難です。英国はその問題を解決し、素晴らしいデータ源を作り出したのです」と話す。

ロンドン大学キングスカレッジの公共政策研究者Jonathan Grantは、各大学が提出した事例は「驚くべき広さと深さにわたっている」と評価する。その内容は、ナノ粒子を使って16世紀に沈没した軍艦の木製部分を細菌による腐食から守るという化学者の研究から、メキシコとコロンビアの貧困家庭への現金給付の効果を検証するという経済学者の研究まで、多岐にわたっていた。

さらなる知見を引き出すため、Natureはテキストマイニングの経験のあるコーネル大学（米国ニューヨーク州イサカ）の物理学者Paul Ginspargに、各大学の事例に使用された単語の分析を依頼した。

単語数を単純に数えてから「the」や「and」などの単語を除外したところ、最も多く使われていた単語は予想どおり「research（研究）」で20万回、次に多く使われていた単語は「impact（インパクト）」で13万5000回だった。「development（成長、発展、開発）」「policy（方針、政策）」「health（健康）」も多かった。注目すべきは、報告書に190以上の国名が登場していたことで、研究が非常に広い地理的範囲に及んでいることが分かる。

Ginspargはさらに、特定の単語の使用と得点との間に統計的に有意な相関関係がないか探った。その結果、どの研究分野でも、「million（100万）」「market（市場）」「government（政府）」「major（大きい、主要な）」「global（地球全体の、包括的な）」などの単語を多く使用する内容に高得点が与えられる傾向が見られた。これは、審査員が「重要性」と「到達範囲」に基づいてインパクトを評価するように指示されていたからだろう。一方、「conference（会議）」「university（大学）」「academic（学術的な、学者）」「project（プロジェクト）」などの単語を多用する内容は、低い等級と相関していた（「評価を左右した言葉」参照）。

ブルネル大学（英国ロンドン）の研究者で、今回の事例収集過程とその評価結果を検証しているGemma Derrickは、「特定の単語の使用と得点との間に相関関係が見られるからといって因果関係があることにはならないが、審査員が経済的なインパクトを特に重視していることを示唆しているようだ」と指摘する。

一方、Priceは、「私は当初、インパクトの評価に懐疑的でしたが、今では良いことだと思っています」と言う。大学の事例研究を通じて説得力ある物語が見えてきて、助成機関だけでなく提携企業や政府、卒業生に対しても、それを示せるようになったからだという。

英国の学者の一部は、新評価法により、各地域の研究助成機関が資金を配分する方法が変化するのだろうか、変わらないとしたら、インパクトを考慮に加える必要はあるのだろうかと問い掛ける。HEFCEは、評価の結果を助成金の配分に関連付ける具体的な方法をまだ発表していないが、研究成果を評価する従来の監査で高得点を挙げてきたオックスフォード大学、ケンブリッジ大学、ロンドン大学ユニバーシティカレッジなどは、インパクトにおいても高得点を挙げていることがすでに分かっている（訳註：3月末、HEFCEのウェブサイトに、2015年度の助成金分配方法と分配結果が掲載された。それによれば、分配額は2014年版のREFに基づいて決定したという。また新評価法から、英国の研究レベルの高さが明確になったとしている）。

国際的には、より定量化しやすい経済的な尺度を追跡することなく、事例研究を利用して研究のインパクトを見極めようという発想を批判する研究者もいる。米国研究学会（ワシントンD.C.）の経済学者で、以前、米国政府のSTAR METRICSプログラムを率いていたJulia Laneは、「科学コミュニティがなぜ、あんなに負担が大きくローテクなシステムに従わなければならないのかと、戸惑いを感じます」と批判する。STAR METRICSは、研究に使われた資金がもたらす経済的な恩恵（雇用の創出、特許、副産物として誕生した会社など）をモニターするプログラムだ。2015年1月27日には、経済学者を中心とする欧州の研究者のネットワークがベルギーのブリュッセルで初の公式会合を開き、欧州における科学助成が社会全体の富と雇用につながる仕組みを解明しようと試みた。この取り組みは、STAR METRICSから強い影響を受けている。

研究の評価にインパクトも考慮するという英国のやり方に倣おうとする国があるかどうかは分からない。オーストラリアやイタリアをはじめ、世界のほとんどの国が研究の質を国家レベルで評価するシステムを導入しているが、インパクトの評価は行っていない。一方、スウェーデンとチェコ共和国の政府は現在、REFのような評価を行うことを検討している。

英国の研究者たちは、早くも2020年に実施される次の監査の準備に取り掛かっているが、その思いは複雑だ。オックスフォード大学の神経心理学者Dorothy Bishopは、「全ての研究者が、事例研究で取り上げやすい研究活動を増やすように求められることになります。専門分野によっては、それで良いこともあれば悪いこともあるというのに、そんなことはおかまいなしなのです」と不満げだ。「今後、自分の研究のインパクトを評価するのに時間を取られ、実際の研究活動を行う時間が減ってしまうのではないかと心配です」と彼女は言う。

翻訳：三枝小夜子