Editorial

科学者の5年先の潜在能力をはかる指標

科学者が助成金や求人に応募したとき、その評価は、総合的になされるのが理想であろう。つまり、論文発表実績のような定量的尺度と、推薦状や共同研究やその他の活動が示す潜在能力とが、バランスよく評価されることだ。たとえ論文数が少なくても、それに対するプラスの評価(コメント、ツイート、ブログ記事など)があれば、高い点になる。ほかにも、会議の席で洞察力に富んだ質問をして、貴重な議論や新たな実験につなげること、あるいは、専門知識を同僚に積極的に教えてあげることなども有利に働く。しかしこれは理想論で、大部分の科学者は、そうはしていない。

実際には、雇用委員会や助成金審査委員会が、たいへんな労力をかけて、数百点の申請書類を読み通す。多くの場合、時間が限られており、ざっと目を通すのが関の山だ。Natureの意識調査(2010年)によると、採用・審査する側は、定量的評価指標には重きを置いておらず、丁寧なピアレビュー(専門家査定)も不可能に近いと回答している(Nature 2010年6月17日号860~862ページ参照)。

こうしたこともあって、最近では、総被引用数やh指数といった評価指標に頼るケースが増えている。h指数は、論文の質と量の両方を測る指標で、例えば、12本の論文を発表し、それぞれの論文について、12件以上の引用があれば、h指数は12となる。当然のことに、多くの科学者は、こんな血の通わない定量化には反対している。しかも、すべての評価指標には明白な問題点がある。数多く引用されるのは、その論文が重要だからではなく、単に研究分野が大きくて活発だからかもしれない。また、実績だけが評価対象とされ、将来性や潜在能力は全く評価されていない。明らかに、多様で優れた指標が必要とされているのだ。

Daniel Acunaたちの論文(Nature 2012年9月13日号201ページ参照)では、「将来的h指数」とでも言うべき方法が提案されている。この新しい指標では、科学者の約5年後の論文生産能力を推定する。5年というのは、終身在職権を認める際に有用な時間スケールだ。

Acunaたちは一般公開データを使って、数千人の神経科学者・ショウジョウバエ研究者・進化生物学者を対象に、論文発表履歴、被引用数、研究助成金交付実績を調査した。そして、一流学術誌に発表した論文数などのデータから、今後数年間のh指数を推定するアルゴリズム(計算法)を考案した。この内容にもし異論があれば、ぜひ編集部まで寄せてほしいし、興味があれば自身の将来的h指数を算出してほしい(go.nature.com/z4rroc)。

今回のAcunaたちの論文については、査読をしたうえで受理した。査読者とNature編集部は、このアルゴリズムは適切な方法で導き出されたと判断し、予測値には現実性があると認めた。ただ、著者たちは慎重な姿勢をとっており、ほかの分野では精度が低くなる可能性が非常に高いこと、査読の代わりになると考えるべきではないことを強調している。

現行のh指数には、いろいろと問題があり、その1つに、名声の確立した科学者に有利に働く点がある。相対的に評価対象期間が長くなるからである。少なくとも「将来的h指数」は、こうした現在のh指数の問題点を補ってくれるに違いない。さらに、指標が信頼あるものとなれば、未完の若手研究者を支援する可能性も生まれる。

それでも、自らの将来性を数値で表したいと思う科学者はいないだろう。Natureは、被引用数は少なくても珠玉の科学論文を数多く出版しており、評価するには、研究自体を精査するしか道はない。Acunaたちの評価指標に対しては、怒りを覚える人さえいることを我々は理解している。しかし、評価指標は現実に使われており、潜在力をより正確に評価できる指標を作ることは重要だと考える。評価指標は、個人を評価する際に無意識に生じるバイアスを消せるという利点もある。

科学者の真の価値には、例えば、教育能力、査読能力、人前で話す能力などのほか、研究論文への質問に対する対応も含まれる。それらを含めた評価指標を、模索していくべきだ。理想世界ではないが、科学者の雇用、報酬、機会を改善していくことはできる。

翻訳:菊川 要、要約:編集部

Nature ダイジェスト Vol. 9 No. 12

DOI: 10.1038/ndigest.2012.121232

原文

Count on me
  • Nature (2012-09-13) | DOI: 10.1038/489177a