大規模言語モデル：検索拡張言語モデルによる科学文献の統合
Nature 650, 8103 doi: 10.1038/s41586-025-10072-4
科学の進歩は、増大し続ける文献を研究者が統合する能力に依存している。大規模言語モデル（LLM）は、このタスクにおいて研究者を支援できるのか。今回我々は、特化した検索拡張型の言語モデル（LM）であるOpenScholarを提示する。このモデルは、科学的なクエリに対して、4500万編のオープンアクセス論文から関連する箇所を特定し、引用文献によって裏付けられた応答を合成することにより回答する。我々は、OpenScholarを評価するために、文献検索のための初の大規模マルチドメインベンチマークであるScholarQABenchを開発した。これは、計算機科学、物理学、神経科学、生物医学にわたる2967件の専門家によるクエリと208件の長文回答で構成されている。OpenScholar-8Bは、より小規模なオープンモデルであるにもかかわらず、新たなScholarQABenchの難解な複数論文統合タスクにおいて、正確さの点でGPT-4oを6.1％、PaperQA2を5.5％上回った。GPT-4oは、回数の78～90％で引用文献にハルシネーションを生じたが、OpenScholarは、人間の専門家と同等の引用精度を達成した。OpenScholarのデータストア、データリトリーバー、自己フィードバック推論ループは、既製のLMを強化し、例えば、OpenScholar-GPT-4oはGPT-4oの正確さを12％向上させた。人間による評価では、専門家が作成した回答よりもOpenScholar-8BおよびOpenScholar-GPT-4oの回答を好んだ専門家の割合はそれぞれ51％と70％で、GPT-4oの32％より優れていた。我々は、今回のコード、モデル、データストア、データセット、公開デモを含め、あらゆる成果物をオープンソース化している。
