従来の査読制度には問題点が多く、ほとんどの研究者が「時間を食う」「間違いが多い」「仕事の割り当てにむらがある（全体の20%の科学者がほとんどの査読を引き受けている）」などの不満を持っている。

そうした中、人工知能（AI）による査読が、査読プロセスを改善し、出版される論文の品質を向上させ、査読者の時間的負担を軽減するとして、期待を集めている。すでに数社の学術出版社が試験的にAIツールを導入しており、査読者の選択をはじめ、統計的手法のチェックや論文の知見の要約などに利用している。

大手出版社エルゼビア（オランダ・アムステルダム）に買収されたエアリーズ・システムズ社（Aries Systems Corporate；米国マサチューセッツ州）の査読管理システムには、2018年6月に、論文中の統計や手法に問題がないかチェックする「StatReviewer」というソフトウエアが組み込まれた。また、クラリベイト・アナリティクス社（Clarivate Analytics；米国ペンシルベニア州フィラデルフィア）の査読プラットフォーム「ScholarOne」は多くの学術誌に採用されているが、同社はこの製品につき自然言語処理と機械学習を用いて論文を分析するアンサイロ社（UNSILO；デンマーク・オーフス）と提携している。

アンサイロ社の販売担当取締役のNeil Christensenは、同社の製品は、論文テキストの意味解析を行ってその主張を抽出することにより、著者が提出する典型的なキーワードよりも的確に論文を概観することができると言う。「私たちは論文の著者が投稿前に5分で考えたキーワードを鵜呑みにすることなく、実際に書かれた文字の中から重要なフレーズを探し出すのです」。

アンサイロ社の製品は、抽出した主要なフレーズの中から著者の主張や発見である可能性が高いものを特定し、その結果が一目で分かるようにまとめたものを編集者に示す。また、論文の主張が過去の論文の主張と似ているかどうかにも注目する。この機能は、剽窃を検知したり、あるいは単に、関連する研究の中での位置付けを、より幅広い文献に基づいて理解したりするために利用できる。「このツールは判断は行いません」とChristensenは言う。「単純に、『今回の論文を過去に出版された全ての文献と比較すると、これこれこういう事実が見えてきます。後はあなたが判断してください』と言うだけです」。

2018年10月に開催されたフランクフルト・ブックフェア（ドイツ）でアンサイロ社の実演を見てきた英国在住の出版コンサルタントDavid Worlockは、「編集者に代わって判断してくれるものではありませんが、判断を容易にしてくれるのは確実です」と言う。

Worlockによると、他にもいくつか同様の査読ツールが出てきているという。彼が取締役を務めるウィズダム・エーアイ社（Wizdom.ai；英国ロンドン）は出版社テイラー＆フランシス（Taylor&Francis）の傘下にあるスタートアップ企業で、論文データベースをマイニングして異なる分野や概念の間にある関係を抽出できるソフトウエアを開発している。彼は、この種のツールは、査読の他、研究助成金の申請書や文献レビューの作成にも役立つだろうと言う。

ScholarOneを含む多くの査読プラットフォームには、剽窃を自動的にチェックする機能がすでに組み込まれている。また、「Penelope.ai」を含む査読サービスでは、論文の参考文献と構成が学術誌の指定と一致しているかどうかを検証している。研究の品質に関わる問題点を知らせるツールもある。研究方法論を専門とするティルブルフ大学（オランダ）のMichèle Nuijtenらが開発した「statcheck」というツールは、P値（仮説の検定を行う際に、仮説を棄却するために用いる「有意水準」）に注目して著者の統計報告の整合性を評価する。すでに査読付き学術誌Psychological Science は全ての論文をこのツールで検証しており、Nuijtenによれば、他の出版社も査読プロセスにこのツールを導入することに乗り気であるという。

Nuijtenのチームが複数の心理学の学術誌で出版された論文を分析したところ、その約50%に少なくとも1つの統計的矛盾が見つかった（M. B. Nuijten et al. Behav. Res. Meth. 48, 1205–1226; 2016）。さらに8編に1編の論文では、出版された結果の統計的有意性が変わってくるほど大きな矛盾が見つかった。「非常に心配です」とNuijtenは言う。彼女は、査読者がそうしたミスを見落としても不思議はないと考えている。「査読者の全員に、全ての数字をチェックするだけの時間的余裕があるわけではないからです。主要な知見や一般的な話の流れに注目するのが普通でしょう」とNuijten。

現時点では、statcheckは米国心理学会が定めた報告形式の統計を用いた論文しか分析できない。これに対して、「StatReviewer」を開発したウェイクフォレスト大学医学系大学院（米国ノースカロライナ州）のTimothy Houleとスタートアップ企業NEX7（米国ウィスコンシン州マディソン）の最高技術責任者であるChadwick DeVossは、自分たちのツールなら、複数の分野の標準的な形式と表現スタイルの統計を評価できると言う。StatReviewerはそのために、標本の大きさ、実験の盲検化に関する情報、ベースラインデータなどが論文に正しく含まれているかどうかをチェックしている。

「不正マーカー」を検出する

DeVossは、StatReviewerは不正行為のマーカーも特定できると言う。「例えば、統計規則の使い方に不正はないか、あるいは、偽造データはないかなどです。その学術誌で通常見られるよりもリスクが大きい場合には、詳細を調べることができます」。DeVossによると、StatReviewerは数十の出版社で試験的に使用されているという。オープンアクセス出版社のバイオメド・セントラル社（BioMed Central；英国ロンドン）が2017年に行った試験では、十分な数の論文を分析できなかったため結論は出なかったが、いくつかの発見はあった。バイオメド・セントラル社は、現在、再試験の実施を計画している。

バイオメド・セントラル社を傘下に置く、シュプリンガー・ネイチャー（Springer Nature）のオープンリサーチ担当広報部長Amy Bourke-Waiteは、StatReviewerは実際に、査読者が見落としてしまったものを捉えたと言う（Nature のニュースチームはシュプリンガー・ネイチャーとは編集上の独立性を保っている）。例えばStatReviewerは、ジャーナルが要請する規格に合わない論文（多くの出版社が採用する「CONSORT」という論文フォーマットに従っていない論文など）を発見するのが得意である。Bourke-Waiteによると、試験に参加した論文著者の多くが、査読者からのレポートに対するのと同じくらい気持ち良くStatReviewerからのレポートに応答できたと言っていたという。StatReviewerは時に論文を読み違えることもあったが、そのおかげで著者が論文中の報告の不明瞭な箇所に気付けた場合もあったという。

DeVossは、たとえ試験がうまくいったとしても、全ての論文のチェックを有料のツールで行おうと考える学術誌は一部にとどまるだろうと予想している。そこで彼らは著者もターゲットに据え、論文を投稿する前のチェックにこのツールを使ってもらいたいと考えている。

一般に、査読にAIを用いることには潜在的な落とし穴がある。1つの懸念は、過去に出版された論文に基づいて訓練された機械学習ツールが、従来の査読にあるバイアスを強化してしまうことだ。「ある学術誌が過去に受理した論文に基づいて判断を行うシステムを構築すれば、それはあらかじめバイアスを組み込まれたシステムということになります」とWorlockは言う。また、アルゴリズムが1編の論文を評価して（StatReviewerのように）1つの総合スコアを出す場合には、編集者は手間を省きたくなって、そのスコアだけを根拠に掲載拒否を決めるかもしれないとDeVossは言う。

査読を追跡し、機械学習を利用して査読者を推薦するツールを開発しているスタートアップ企業で、クラリベイト・アナリティクス社に買収されたパブロンズ社（Publons；ニュージーランド・ウェリントン）の共同設立者であるAndrew Prestonは、アルゴリズムはまだそれほど賢くないため、アルゴリズムが抽出した情報のみに基づいて編集者が論文の受理や却下を判断することはできないと言う。「これらのツールは論文が一定の水準に達していることは確認できますが、査読者が評価に関して行っていることを完全に肩代わりするものではありません」。

Nuijtenも同意する。「アルゴリズムが完璧なものになるまでには、しばらく時間がかかるでしょう。けれども、多くの作業を自動化することは、理に適っていると思います。査読プロセスは多くの点で標準化されているからです」。

翻訳：三枝小夜子