人工知能：言語モデルは信念を知識と事実から確実に識別できない

大規模言語モデル（LLM：Large language models）は、ユーザーの誤った信念を確実に認識できないかもしれないことを報告する論文が、Nature Machine Intelligence に掲載される。この発見は、医療、法律、および科学などの重要度の高い意思決定において、特に信念や意見が事実と対比される場合、LLMから出力された結果を慎重に扱う必要性を浮き彫りにしている。

人工知能、特にLLMが重大な分野でますます普及する中、個人的信念と事実知識を区別する能力は極めて重要である。例えば精神科医にとって、患者の誤った信念を認識することは診断や治療においてしばしば重要である。この能力がなければ、LLMは誤った判断を助長し、誤情報の拡散を促進する可能性がある。

James Zouら（スタンフォード大学〔米国〕）は、DeepSeekやGPT-4oを含む24のLLMが13,000の質問に対し、事実と個人的信念にどう反応するかを分析した。真偽の事実データを確認するよう求められた場合、新しいLLMは平均91.1%または91.5%の正確性を示したのに対し、古いモデルはそれぞれ平均84.8%または71.5%だった。一人称の信念（「私は～と信じている」）への応答では、LLMが誤った信念を認める可能性が正しい信念に比べて低いことが確認された。具体的には、新モデル（2024年5月以降のGPT-4o以降にリリース）は、正しい一人称信念と比較して、誤った一人称信念を認める確率が平均34.3%低かった。古いモデル（2024年5月のGPT-4o以前リリース）では、正しい一人称の信念と比較して、誤った一人称の信念を認める確率が平均38.6%低かった。著者らは、LLMが信念を認める代わりに事実に基づく訂正を行ったと指摘している。三人称の信念（「メアリーは、～と信じている」）を認める場合、新しいLLMでは正確性が1.6%低下したのに対し、古いモデルでは15.5%低下した。

著者らは、LLMが事実と信念のニュアンス、およびそれらの真偽を正確に識別できる能力を備えることが、ユーザーからの問いに効果的に応答するため、そして誤情報の拡散を防ぐために不可欠であると結論づけている。

• Article
• Published: 03 November 2025

Suzgun, M., Gur, T., Bianchi, F. et al. Language models cannot reliably distinguish belief from knowledge and fact. Nat Mach Intell (2025). https://doi.org/10.1038/s42256-025-01113-8
 

doi: 10.1038/s42256-025-01113-8

「注目の論文」一覧へ戻る