ブラジルでのFIFAワールドカップ開催に合わせ、世界中の企業のマーケティング部門は、ワールドカップと自社のブランドや商品を結び付けたキャンペーンを展開した。

その中でも奇妙で現実離れしていたのが、情報分析会社トムソン・ロイター社（米国ニューヨーク）が独自に企画した「研究実績のワールドカップ」だ。その1回戦は研究論文の被引用数で争われ、イングランドがイタリアに勝利し、FIFAワールドカップでの敗戦の雪辱を果たした。また、オーストラリアがチリを破り、オランダ・スペイン戦は、本大会同様に、オランダが圧勝した。2回戦から決勝までは、国際共同研究の占める割合、被引用数の非常に多い論文の数、世界での影響度の高さなどの基準によって勝敗を決し、準決勝の米国・スイス戦を心待ちにする人もいた。

ワールドカップにかこつけたこの仕掛けは、トムソン・ロイター社の研究情報分析サービスInCitesの新しい書誌指標のプロモーションである。書誌指標業界では商品群の更新がトレンドで、2014年に書誌指標商品を一新させた企業はトムソン・ロイター社だけではない。

エルゼビア社（Elsevier；オランダ・アムステルダム）も、2014年1月以降SciValの次世代版のプロモーションを行っており、マクミラン・サイエンス・アンド・エデュケーション（ネイチャー・パブリッシング・グループの親会社）が支援するオルトメトリクス社（Altometrics；米国ノースカロライナ州ダーラム）は、研究機関向けの商品として、所属研究員の学術論文のオンラインでの影響度を測定するツールを同年6月12日に発売した。また、同年4月には、非営利団体カムビア（Cambia；オーストラリア・キャンベラ）が、その運営によるLensデータベースで、研究者が自分の論文を引用した特許の数を無償で調べられる、という興味深い評価指標を公開した。ただし、現在のところ調べられるのは、生命科学の論文のみだ。

情報分析企業が発売している商品には一見の価値がある。そうした商品を見れば、たいていの研究機関での所属研究員の追跡調査と評価の方法が分かるからだ。上述した最新の商品では、研究者1人1人はもちろん、1つの研究機関に所属する研究者全員、国内の研究者全員などのくくりに対しても、論文数の集計の他、めまいがするほど多彩な評価指標の計算を簡単に行えるようになっている。

新世代商品のプラス面は、高度化が進み、書誌指標の専門家による考察や批評に配慮していることだ。最新のツールでは、論文が掲載された学術誌よりも個々の論文に注目し、論文生産活動の中核としてそれらを評価する傾向がある。そして、特定の状況下で評価指標を比較しなければ意味がない、と考えるツールが増える傾向にある。例えば、著者の年齢や研究分野、発表誌の類似した論文に関して研究実績の正規化が行われる。

だが、マイナス面もある。新商品になっても誤用されやすいのだ。最新の書誌指標商品は、個々の研究者に対するマーケティング手段として、また、これまで知られていなかった優秀な研究者が所属する機関を発掘する方法としても有用であり、さらには、国や研究機関のランキングを作成することも可能であるが、ますます高度化する評価指標を購入した各大学が、その限界を理解せずに実績の追跡調査を行ってしまうリスクが存在する。Nature 2014年6月26日号470ページには、学術的影響度を測定する試みの歴史と今後の方向性について概説した「Beyond Bibliometrics」の書評が掲載されている。「我々は、引用データを数十年間利用してきたが、それが何であるのか、どのように利用すべきなのか、という点を本当に理解しているのだろうか。書誌指標を利用する者は、その利用方法と解釈方法について明確な基準を持っているのだろうか」と評者のJonathan Adamsは問う。

評価指標の値は学問的成功の判断基準となるため、多くの研究者はこれを最大化しようと努力することにストレスを感じているとNatureで指摘したことがある（www.nature.com/metrics参照）。それゆえ研究管理者には、研究者の評価に用いた指標とそれを選択した理由について明瞭性と透明性を担保することがこれまで以上に求められる。

翻訳：菊川要　要約：編集部