研究評価制度の評価対象が狭過ぎるという懸念は、目新しいものではない。現行の研究評価方法で優遇されているのは、多額の助成金を獲得し、Nature などのインパクトファクターの高い論文誌で研究論文を出版し、あるいは特許を登録した個人やチームであり、こうした基準を満たさない質の高い研究はないがしろにされ、研究資源は他に振り分けられてきた。

研究がどのように行われたかというテーマで研究を行う専門家のネットワーク「Research on Research Institute（RoRI）」は、報告書（2020年11月）の中で、現行の評価方法は、研究コミュニティーに対して高い業績評価指標を獲得するようプレッシャーをかけていると指摘している。また、この評価方法は、研究倫理や研究公正に違反するリスクも高めており（go.nature.com/3qzpgeg参照）、それに加えて、数字で測れる基準を満たすような研究を行わない、あるいは優先させないことを選択した全ての人々に対して「系統的バイアス」（systematic bias；組織の制度が生む偏りのことで、特定の集団に不利益をもたらし得る）として作用している。

一般的に用いられている研究評価方法がもたらすゆがんだ影響についての懸念から、既にさまざまなイニシアチブが始動している。その例が、研究評価に関するサンフランシスコ宣言（これまでに、Nature の出版元であるシュプリンガー・ネイチャーを含む2500以上の企業・団体と1万9000人が署名した）、研究計量に関するライデン声明、INORMS（研究支援専門の職能団体が形成する国際ネットワーク）が定めたSCOPE原則、英国の研究資金助成団体の委託報告書（The Metric Tide）などである（2021年10月号「リサーチ・マネージャーもまた研究者である」参照）。それどころか、少なくとも15件のプロジェクトが実施されており、政策立案者、研究資金配分機関、研究機関のトップに対して、研究評価制度の弊害を確実に最小限に抑えることを要請している。

こうしたプロジェクトの立案者の多くは、それぞれの後続のイニシアチブが議論を活発化させても（こうした議論は間違いなく貴重である）、実際的な行動にはあまり結び付かないという懸念を持ちつつある。

2022年7月20日に発表され、9月28日に署名の募集が始まった「Agreement on Reforming Research Assessment（研究評価の改革に関する合意）」は、これまでで最も希望に満ちた真の変革の兆候かもしれない。350以上の組織が、経験や発想、証拠を持ち寄り、これまでよりインクルーシブな評価システムを構築するための合意の形成を目指し、合意の最終版が公表されるに至ったのだ。このイニシアチブは、欧州大学協会（CRE）とサイエンス・ヨーロッパ（欧州大陸の研究資金助成団体と研究機関のネットワーク）が、先行するイニシアチブと連携して4年の歳月をかけて作り上げたもので、欧州委員会の承認を得ており、世界展開を目指している。

この合意の署名者は、責任を持って評価基準を利用することを約束しなければならない。例えば、学術誌と論文出版に基づいた評価基準（インパクトファクターやh指数など）については、この合意で「不適切」とされたやり方で利用することをやめなければならない。また署名者は、大学や研究機関のランキングを利用しないことにも合意し、やむを得ず利用する場合は、その統計的限界と方法論的限界を認識した上で利用することに合意する。

また、署名者は、もっと質的な要素、例えば、リーダーシップやメンターシップの基準（博士号取得者の指導を含む）だけでなく、オープンサイエンス（データ共有や共同研究を含む）などに重きを置いた評価を行うことを約束しなければならない。最終的な研究論文が研究の質を示す唯一の指標なのではなく、他の形態の成果物（データセットなど）、Registered Reports（査読付き事前登録研究論文）などの新しい論文形式や透明性を高めた査読方式も同様に重要な指標であることは、絶対に間違いない（2019年10月号「研究のプロセスも高く評価する論文形式」、2021年8月号「優れた研究は論文執筆のかなり前から始まっている」参照）。

この合意は、新たな善意の宣言が発表されたという以上の意味を持っている。この合意の署名者は、「自分たちが責任を負う組織を創設する」という趣旨の約束をしているのだ。2022年10月には、国連方式の総会が開かれ、進捗状況を確認し、もっと恒久的な組織を作る予定という。この組織にとって極めて重要なのが、研究者、特にキャリア初期の研究者に発言力を与えるという考えだ。これらの研究者は、大きなストレスの原因となっている評価制度を敷いている所属機関や先輩研究者、研究資金配分機関と話し合いをする必要がある。

この合意は、大学や学部などの組織、研究者個人と研究チーム、特定の研究プロジェクトを対象とした3種類の研究評価に着目している。それぞれの種類の研究評価については、異なる種類の取り決めが必要なことは、ほぼ間違いない。そのため、取り決めは国ごとに異なるものになるだろう。

評価は公平に行い、その理由を透明化しなければならず、研究者を不当に扱ってはならない

この取り組みの趣旨は、1つの統一された研究評価方法を作り出すことではなく、研究評価に着手する前に、誰もが同意できる原則を打ち出すことだ。つまり、研究評価は公平でなければならず、決定の理由について透明性を確保する必要があり、いかなる研究者も不利益や被害を受けることがあってはならない。もし卓越性が基準であるならば、Nature が一貫して主張してきたように、狭い指標（助成を受けた研究資金の額やインパクトファクターの高い学術誌での出版など）に限定されるべきではない（Nature 2005年6月23日号1003～1004ページ）。メンターシップ、データの共有、次世代の学者の育成に時間を費やすこと、そして、過小評価されている集団に機会を与えることにも卓越性がある。

RoRIの報告書の著者が言うように、宣言をする時代は終わった。研究評価の改革を今から始めて、重要な事項が評価されるようにしなければならない。

翻訳：菊川要