不正な研究論文や疑わしい研究論文による影響を最も大きく受けている科学出版社や学術誌はどこで、学術誌のポートフォリオをきれいにするための努力を最も怠っているのはどこだろう？　サイティリティー社（Scitility、米国ネバダ州スパークス）は、その答えを持っている。同社は潜在的に問題のある論文を出版社が特定するのを助けるために設立されたテック系スタートアップで、このほどNatureに初期の調査結果を提供した。

サイティリティー社は2024年9月に、科学における研究公正のためのウェブサイトArgosを立ち上げた。このサイトは、論文著者の出版記録や、その論文が既に撤回された研究を数多く引用しているかどうかに基づいて、論文にリスクスコアを付けている。Argosでは、他の研究が不正行為に関連した理由で撤回されている著者が複数いると思われる論文などが「高リスク」と分類される。論文のリスクスコアが高いということは、その質が低いことの証明ではなく、調査する価値があることを示唆している。

今、注意すべき論文を探知する研究公正ツールの数は増えていて、Argosの他にも、クリア・スカイズ社（Clear Skies、英国ロンドン）のPapermill Alarmや、リサーチ・シグナルズ社（Research Signals、英国ロンドン）のSignalsなどがある。こうしたソフトウエアを開発する企業は出版社に論文点検ツールを販売しているため、不正論文の影響を受けた学術誌の名前を公表することには消極的であることが多い。けれどもArgosは、個人向けに無料アカウントを提供するだけでなく、研究公正のために活動する科学探偵やジャーナリストにはより完全なアクセスを提供していて、今回初めてその発見を一般に公開した。

サイティリティー社の共同設立者で、オランダのローゼンダールに拠点を置くJan-Erik de Boerは、「私たちは、隠れたパターンを見つけ出し、業界に透明性をもたらす技術を構築したいと考えたのです」と言う。

Argosは2024年10月初旬までに、4万本以上の高リスク論文と18万本の中リスク論文を特定し、5万本以上の撤回論文にもインデックスを付けた。

出版社のリスク評価

Argosの分析から、既に撤回されている論文の本数が最も多く、その割合が最も高い出版社は、ワイリー社（Wiley、米国ニュージャージー州）の子会社で、既にブランドとしては廃止されているヒンダウィ社（Hindawi、英国ロンドン）であることが分かった（「リスクにさらされる出版社と学術誌」参照）。これは意外ではない。なぜならワイリー社は、編集者や科学探偵から寄せられた懸念を受けて、ヒンダウィ社が出版した論文をこの2年間に1万本以上撤回しているからである（2024年3月号「2023年の撤回論文数が1万本突破で新記録」参照）。これは、ヒンダウィブランドの過去10年間の全ポートフォリオの4％以上に当たる。同社の学術誌の1つであるEvidence-based Complementary and Alternative Medicineは、出版した論文の7％以上に当たる741本を撤回している。

Argosのリスクスコア評価では、ヒンダウィ社の残りの論文のうち1000本以上（0.65％）が依然として「高リスク」とされている。これは、ワイリー社がそのポートフォリオをきれいにするために多大な努力を払っているにもかかわらず、まだ作業が完了していない可能性を示唆している。ワイリー社はNatureに対し、自分たちはArgosや同様のツールを歓迎しており、ヒンダウィ社の問題の是正に取り組んでいると述べた。

他の出版社は、Argosが指摘した高リスク論文の本数に比べて撤回論文の本数が非常に少ないことから、もっと多くの調査を行う必要があるように思われる（とはいえ、出版社は既にこれらの論文の一部を調査し、撤回する必要はないと判断している可能性もある）。

大手出版社のエルゼビア（オランダ・アムステルダム）は約5000本の論文を撤回しているが、NatureがArgosのデータを分析した結果、1万1400本以上の高リスク論文があった。ただし、これらを合わせても、エルゼビア社が過去10年間に出版した論文の0.2％強にすぎない。また、出版社MDPI（スイス・バーゼル）は311本の論文を撤回したが、3000本以上の高リスク論文があり、これは同社が出版した論文の約0.24％に当たる。シュプリンガーネイチャー社は6000本以上の論文を撤回したが、6000本以上の高リスク論文があり、これは同社が出版した論文の約0.3％に当たる（Natureのニュースチームは、その出版元と編集上の独立を保っている）。

今回、高リスク論文の本数が特に多いと指摘された出版社にコメントを求めたところ、その全てから回答があった。いずれも、自分たちは研究公正の取り組みに力を入れていて、投稿された論文の点検にテクノロジーを活用しており、撤回した論文があることは問題のあるコンテンツを排除しようとした結果であると述べている。

例えばシュプリンガーネイチャー社は、2024年6月に2つのツールを導入して以来、これを利用して投稿論文の中から数百本の偽論文を発見することができたという。また複数の出版社が、疑わしい論文を知らせるソフトウエアを提供する共同の研究公正ハブでの取り組みについて言及している（2024年2月号「ペーパーミルによる論文捏造の規模はどのくらい？」参照）。MDPI社の出版マネジャーであるJisuk Kangは、Argosのような製品は潜在的な問題の徴候を幅広く指摘することができると言う一方で、出版社はサイト上の数字の精度や信頼度をチェックすることはできないと指摘する。彼女はさらに、最大手の出版社や学術誌には必然的に高リスク論文が多数集まるはずなので、高リスク論文の本数ではなくポートフォリオに占める割合の方が指標として適切であると付け加えた。

では、高リスク論文がポートフォリオに占める割合が最も高い出版ブランドはどこだろう？　Argosの数字は、インパクト・ジャーナルズ社（Impact Journals、0.82％）、スパンディードス社（Spandidos、0.77％）、アイビースプリング社（Ivyspring、0.67％）であることを示している。インパクト・ジャーナルズ社はNatureに、自分たちの学術誌は以前は問題があったものの、現在は研究公正を取り戻したと語っている。同社は、近年利用可能になったばかりのImage Twinなどの画像チェックツールを導入した結果、過去2年間に学術誌Oncotargetの「高リスク論文は0％」になったとしている。高リスク論文がポートフォリオに占める割合が0.41％であったポートランド・プレス社（Portland Press）は、より厳格なチェックを導入するなどの是正措置を講じたと回答している。

学術誌のリスク評価

Argosは、個々の学術誌についても数字を提供している。撤回された論文の本数と高リスク論文がポートフォリオに占める割合の両方でヒンダウィ社のタイトルが際立っているのは意外ではないが、他の学術誌にもArgosが高リスクと判定した論文が数多く残っている。論文の本数で見ると、シュプリンガーネイチャー社のメガジャーナルScientific Reportsがトップで、高リスク論文が450本、撤回された論文が231本あり、その合計は出版論文の約0.3％となっている（「リスクにさらされる出版社と学術誌」参照）。2024年10月16日には、科学探偵のグループがシュプリンガーネイチャー社に、この学術誌中の問題のある論文への懸念を表明する公開書簡を送っている。

これに対し、シュプリンガーネイチャー社の研究公正責任者であるChris Grafは、同誌は提起された問題の全てを調査していると述べた。そして、同誌の規模を考えると、高リスクと判定された論文の割合は比較的低いと補足した。

撤回された論文の数と疑わしい論文の数の差が特に大きい学術誌は、MDPI社のSustainability（撤回論文20本と高リスク論文312本で、出版論文の0.4％）やエルゼビア社のMaterials Today Proceedings（撤回論文28本と高リスク論文308本で、出版論文の0.8％）などであった。高リスク論文の割合が最も高かったのはエルゼビア社のBiomedicine & Pharmacotherapyで、出版論文の1.61％を占めている。

エルゼビア社の広報担当者は、「商業的な利益のために不正なコンテンツを作成する『ペーパーミル』などの組織的操作やAI生成コンテンツにより、不正論文の本数は大幅に増加しています」とし、それを受けて「人的監視、専門知識、テクノロジーへの投資を増やしています」と語った。

適切に審査していない論文を出版して利益を得ている手抜きの学術誌や出版社が、もっと注目されるようにしなければなりません

オープンデータ

Argosの開発者は、自分たちのサイトが第三者によって収集されたオープンデータに依存していることを強調する。その情報源には、撤回された論文のデータベースを管理するウェブサイト「リトラクション・ウォッチ（Retraction Watch）」も含まれている。このデータベースは、非営利組織CrossRefとの取り決めにより無料で利用できるようになっていて、論文撤回の理由も示されているため、研究不正に関連する撤回に的を絞った論文著者記録の分析が可能となる。Argosの分析には、撤回された論文を多く引用している論文についての記録も利用されている。この記録は、トゥールーズ大学（フランス）の計算機科学者Guillaume Cabanacがまとめたものだ。

Argosが過去に研究不正をした著者らのネットワークに注目するのに対し、他の研究公正ツールは、偽論文のテキストとの類似性の強さや、Cabanacが言うところの「歪曲された言い回し（tortured phrases、偽論文が剽窃検知ソフトに引っ掛かるのを避けるために著者が不自然な言葉を選ぶこと）」などの内容の不審さも根拠にして、論文が疑わしいかどうかを判定している。

Nature関連誌やThe Lancetの元出版責任者で、現在はコンサルティング会社ジャーナロロジー（Journalology、英国リバプール）を経営するJames Butcherは、「どちらのアプローチにも利点はありますが、不正行為に関与する研究者のネットワークを特定するアプローチの方が、より価値が高いでしょう」と言う。彼はその理由を、不正行為をする人々の明らかな文章上の特徴を隠すためにAI執筆ツールが使用される可能性があるからだと説明する。Butcherはまた、多くの大手出版社が独自の研究公正ツールを構築または入手し、投稿されてきた原稿に怪しい所がないか点検していると言う。

主に著者の論文撤回記録に依存する研究不正ツールにとって、最も厄介な問題の1つは、同姓同名の著者を正しく識別することである。これは、Argosの数字をゆがめる恐れがある問題だ。クリア・スカイズ社の設立者であるAdam Dayは、「著者の識別は、この業界が抱える最大の課題の1つです」と言う。

かつてシュプリンガーネイチャー社で働いていたde Boerは、サイティリティー社のArgosにアクセスするためのアカウントは誰でも無料で作成できるが、同社は大手出版社や研究機関に、原稿審査のワークフローに直接組み込めるバージョンを販売することを目指していると言う。

ButcherはArgosチームの透明性を称賛している。「適切に審査していない論文を出版して利益を得ている手抜きの学術誌や出版社が、もっと注目されるようにしなければなりません」と彼は言う。

翻訳：三枝小夜子