News in Focus

プレプリントサーバー汚染と戦う投稿管理者たち

PsyArXivなどのプレプリントサーバーは、AIシステムによって生成された疑わしい投稿への対応に追われている。 Credit: Nature

ルーヴェン・カトリック大学(ベルギー)の心理学者のOlivia Kirtleyは、『自己実験報告:夢見状態における生成AIインターフェースの出現(Self-Experimental Report: Emergence of Generative AI Interfaces in Dream States)』というプレプリント論文のタイトルを見て疑念を抱いた。

クリックして原稿を読んでみると、彼女の警戒心はさらに高まった。原稿は2025年7月に心理学分野の査読前論文を公開するサイトPsyArXivに投稿されたもので、長さは数ページしかなく、掲載されている著者はたった1人で、所属先の記載はなかった。Kirtleyによると、本文に記されていた人工知能(AI)の実験も「かなり突飛なもの」だったという。

そこで彼女はこのプレプリント論文や類似のものについてPsyArXivの管理者に報告し、これらは最終的に削除された。PsyArXivの科学諮問委員長で、メイヌース大学(アイルランド)の心理学者であるDermot Lynottは削除の理由を、「夢見状態に関する研究論文は、その研究方法においてAIを使用していましたが、AIをどのように使ったのかも、研究の他の要素にも使っていたのかどうかも明示していない点で、サイトの利用規約に違反していたからです」と説明する。

Natureはこの論文の著者として掲載されていたJiazheng Liu名義のメールアドレスに質問を送り、このアドレスから、AIは当該のプレプリント論文の生成に関して限定的な役割しか果たしていないとするメッセージを受け取った。

疑わしい投稿への対応に苦慮しているのはPsyArXivだけではなく、他のプレプリントサーバーも学術誌も同じ状況にある。論文の中には、ペーパーミル(科学論文をオンデマンドで作成するサービス)の痕跡が認められるものや、AIシステムを使用した証拠、例えば、AIの「ハルシネーション(幻覚)」の痕跡と思われる偽の参考文献が記載されているものもある。

このような疑わしい論文は、プレプリントサービスにとって大きな問題となる。プレプリントサービスの運営団体の多くは科学者が論文を発表しやすくすることを目的とする非営利団体であるのに、質の悪い論文をふるい落とすためにはそれなりの資源が必要で、投稿論文の処理に時間がかかるようになる恐れがあるからだ。また、論文をふるいにかけるなら、どのような原稿を受理するのかという問題も生じる。そして何より、疑わしい論文が入ってくること自体がリスクをもたらす。

心理科学改善協会(Society for the Improvement of Psychological Sciences)執行委員会からPsyArXiv科学諮問委員会へのリエゾン(連絡役)であるKatie Corkerは、「システムが自壊しないように関与を必要最小限にとどめながら論文の質を確保するにはどうすれば良いのでしょうか?」と問い掛ける。「問題のない学術論文かどうかを個々の読者が見極めなければならないような世界は、誰も望んでいません」。

AIの成長が加速

Natureが接触した複数のプレプリントサーバーによると、オープンAI社(OpenAI)のChatGPTのような大規模言語モデル(LLM)によって生成された痕跡のある投稿論文の割合はそれほど高くないという。例えば、プレプリントサーバーarXivの運営者は、AIか、ペーパーミルか、あるいはその両方によって作成されたものとして同サーバーから掲載を拒否された投稿論文の割合を2%と見積もっている。

生命科学系プレプリントサーバーbioRxivと生物医学系プレプリントサーバーmedRxivを運営する非営利団体openRxiv(米国ニューヨーク)を率いるRichard Severは、2つのサービスを合わせると1カ月に約7000本の投稿があるが、そのうち、AIが生成した可能性のある定型的な原稿を1日に10本以上却下しているという。

けれども、状況はさらに悪化しているようだと指摘する声もある。arXivの科学ディレクターで、ペンシルベニア州立大学(米国ユニバーシティパーク)の宇宙物理学者であるSteinn Sigurðssonによると、arXivの投稿管理者らは、2022年の終わりにChatGPTが公開された直後からAIによって執筆された論文が増えていることに気付いていたが、「本当に危機的状況にあると思い始めたのは2025年5月以降です」と言う。

PsyArXivを運営する非営利団体Center for Open Science(米国ワシントンD.C.)は、2025年7月25日に投稿した声明の中で、「AIツールによって生成された、あるいはその支援を大いに受けて作成されたと思われる投稿論文が目立って増加している」と述べている。Lynottはサイト上で「わずかな増加」が見られると認め、サーバーはそうした論文をできるだけ排除しようと取り組んでいるとした。

Kirtleyが管理者に報告した夢見状態に関する原稿は、プレプリントサーバーへの投稿を管理することの難しさを浮き彫りにしている。このプレプリント論文の削除から間もなく、ほぼ同じタイトルとアブストラクトのプレプリント論文が同じサイトに投稿されたのだ。この論文の著者にひも付いているアドレスからのメールには、「AIの役割は、数式の導出、記号計算、既存の数学的ツールの組み合わせと適用、式の検証」およびその他の8つのタスクに「限定」されていると記されていた。メールを書いた人物は、自らを「中国を拠点とする独立研究者」とし、高等教育の学位はなく、「使用しているツールは中古のスマートフォンのみ」であるとしている。この第2版のプレプリント論文も削除された。

チャットボットの手を借りる

2025年8月にNature Human Behaviourに掲載された論文(W. Liang et al. Nature Hum. Behav. https://doi.org/g9v7n5; 2025)は、ChatGPTの公開から約2年後の2024年9月の時点で、arXivに投稿された計算機科学分野のプレプリント論文のアブストラクトのテキスト(語・文)のうち22%、bioRxivに投稿された生物学プレプリント論文のアブストラクトのテキスト(語・文)のうち約10%がLLMによって生成されていたと見積もっている(「チャットボットの台頭」参照)。ちなみに、2024年に学術誌にて出版された生物医学論文のアブストラクトの分析によると、全論文のうち、14%の論文のアブストラクトにLLMが生成したテキストが含まれていたという(D. Kobak Sci. Adv. 11, eadt3813; 2025)。

Source: Ref 1.

スタンフォード大学(米国カリフォルニア州)の計算機科学者で、Nature Human Behaviourの論文の共著者であるJames Zouは、この研究で報告されたAIによる文章の一部は、AIの支援がないと英語で原稿を書くのに苦労するような科学者がLLMに生成させた可能性があると指摘する。

Severは、こうした正当な利用があることが「線引き」を難しくしていると説明し、研究で明らかになった数字は何ら意外ではなく、プレプリントサイトは投稿論文に関する説明責任は著者にあることを明確に示す必要があると言う。

arXivの計算機科学部門の責任者で機械学習の先駆者であるThomas Dietterichは、arXivに計算機科学のプレプリント論文を投稿する研究者の多くは英語を母国語としない人々なので、おそらくLLMを使って文章に磨きをかけているのだろうと考えている。22%という数字は「大いにあり得るもので、不正を示唆するものではありません」と彼は言う。

対策を強化する

ワシントン大学(米国シアトル)でサイエンス・オブ・サイエンスを研究するShahan Ali Memonは、情報が瞬時に拡散する現代では、疑わしいプレプリント論文がたちまち共有されてしまうと警鐘を鳴らす。「これは誤情報や誇大宣伝につながります⋯⋯その上、プレプリント論文はグーグルの検索結果に載ってしまいます」とMemonは言う。「何かの情報を求めてグーグルで検索する人々が、こうしたプレプリント論文を情報源としてしまう恐れがあるのです」。

私たちは、近いうちに完全な作り物と本物とを区別できなくなるのではないかと懸念しています

プレプリントサーバーの中には、PsyArXivのように、疑わしいと報告があった原稿は削除するものもある。一方で、「撤回」と表示はするが、法的な要請がない限り削除はしないものもある。プレプリントサーバーは、各種の自動検出ツールや人間のチェック担当者を使って、疑わしい原稿を見つけている。Natureの出版元であるシュプリンガーネイチャー社はResearch Squareというプレプリントサーバーを所有しているが、同社によると、Research SquareではAIが生成した文章の痕跡を検出するためにGeppettoというツールを使っているという。

それでも問題のある論文が増加していることから、多くのサーバーが対策を強化している。

例えば、arXivの運営者は、特定のトピックに関する文献をまとめた総説論文については、Sigurðssonが「極めて低品質な総説論文」と呼ぶ、「明らかにオンラインで生成された、あるいは、出版履歴を水増しする人々からの支援を受けた」投稿論文が大量にあるため、掲載基準を厳格化したいと考えている。またCenter for Open Scienceは、「低品質のコンテンツを抑止するために、投稿プロセスに新たなステップを追加する」ことを含む一連の対策を検討している。

人間によるチェックに頼ってきたopenRxivのチームは、現在、AIが生成した論文の特徴を発見する自動ツールの導入を進めている。しかしSeverは、このような努力は「いたちごっこ」だと言う。「私たちは、近いうちに完全な作り物と本物とを区別できなくなるのではないかと懸念しています。これは私たち全員が直面する課題です」。

翻訳:三枝小夜子

Nature ダイジェスト Vol. 22 No. 11

DOI: 10.1038/ndigest.2025.251113

原文

AI content is tainting preprints: how moderators are fighting back
  • Nature (2025-08-12) | DOI: 10.1038/d41586-025-02469-y
  • Traci Watson