科学論文はあまりに多く、時間はあまりに少ない。研究助成機関や研究機関は、重要な研究を発見し褒賞するために、大量の研究論文やデータセットに加え、さまざまな科学的成果にも目を通さねばならないが、時間が足りないのだ。今日では、短時間で多面的に研究を評価する方法の1つとして、インパクト（影響度）が取り入れられている。

従来の学術的重要性の尺度、すなわち、引用評価指標、有力学術誌での発表、論文やインタビューに示された同僚研究者からの評判などが重要な位置を占めることに変わりはない。そこへ、自身の研究が学界を超えた重要性を有することを示すための新しい指標が加わったのである。新指標には、論文のダウンロード件数と閲覧数／政策立案者、保健当局者や環境当局者に対する影響力／産業界と経済に対する影響／社会に対する教育・啓蒙効果などがある。

2013年に北テキサス大学学際研究センター（米国テキサス州デントン）の研究者が、56種類のインパクト評価指標を明らかにした（Nature 2013年5月23日号439ページ参照）。その中にはやや突飛な指標も含まれており、科学者にとって、自らの研究が注目と予算を集めるにふさわしい数々の特徴を有すると誇示するのが決して容易でないことが分かる。

これだけ多様な指標があることは賞賛すべきだが、多すぎるために混乱を引き起こす可能性もある。研究者と研究評価者は、数ある尺度をどのように取捨選択すればよいのだろうか。

2013年10月17日号287ページでは、研究の質を評価する伝統的な方法と新しい方法について考察した。Natureは、研究機関や研究助成機関が尺度を決定する際には、次の2点を考慮に入れるべきと考える。

1点目は、特定の指標の偏重によってもたらされるプラスの効果とマイナスの効果を認識することが重要、ということだ。

例えば、影響力の大きい学術誌に発表された研究は高評価と強調した場合、研究者に野心的な研究目標を考えさせる効果をもたらせばよいが、過剰なプレッシャーにもなるため、再現不能な論文の増加を招くおそれもある。Natureは、これまでの数十年間、基準をほとんど変えることなく研究論文を出版してきたが、それを評価に使う側は、こうした影響力の大きい雑誌に掲載された論文をどの程度重要視するのか、基準を明確に定めるべきだ。

その過程で注意すべきことがある。インパクトファクター（被引用実績の指標）が高い学術誌に掲載された研究論文イコール重要な論文と捉えるべきではないということだ。本誌で何度も強調してきたように、同じ学術誌に掲載された論文であっても被引用実績はまちまちで、非常に大きな差が出る場合もある。それよりも、個々の論文の被引用数、閲覧数、ダウンロード件数に着目し、こうした指標が研究分野によって異なると認識すべきだろう。

研究の経済的影響を強調した場合、税金で賄われている研究が正当かどうかを研究者に検討させ、研究資金の有効利用を促進できる可能性がある。その一方で、無意味な特許取得や無謀なスピンアウト会社起業などが研究者の頭にちらつき、研究に支障を来すおそれもある。

2点目は、研究のインパクトを計測するのに用いる方法を研究評価者が公開し、評価制度の公正性と透明性を確保すべきである、ということだ。

公開性は、信頼を獲得する上で必須の要素だ。評価者は、評価結果を採点する方法を示した作業事例と、そうした評点の根拠を公表すべきである。それができないのであれば、研究者に疑いを抱かれても仕方がないだろう。Nature 2013年8月15日号255ページでは、Natureの元ニュース記者Colin Macilwainが業績評価の指標に対する疑念を示している。

「インパクト関連課題」が加わることに不満をぶちまける際に、一方で、科学者にも混乱が見られる。インパクトファクターの「インパクト」と混同して、主張が破たんしているのだ。多くの場合、本論である「利用可能な各種指標の検討」ではなく、インパクトファクターの誤用に対する文句に議論が終始している。インパクトファクター自体に誤解を招きやすいという議論があるためだ。こうした意味論的な相乗効果で、議論の論点がぼけているのだ。

研究評価者が上述の2点を考慮に入れずに研究を評価すれば、インパクトという新評価基準に対して強い拒絶反応が起こるだろう。

翻訳：菊川要、要約：編集部