社会科学：大規模言語モデルは社会科学実験の結果を予測できる
Nature 656, 8126 doi: 10.1038/s41586-026-10742-x
大規模言語モデル（LLM）が社会科学や行動科学をどのように前進させ得るかについて、関心が高まっている。これまでの研究では、調査への回答を予測するLLMの能力が評価されてきたが、社会科学実験、特に訓練データに含まれていないような実験の結果をLLMが予測できるかどうかについては、あまり分かっていない。本研究で我々は、469件の実験効果と11万9330人の参加者を含む、米国で実施された事前登録済みで全国代表性を持つ調査実験70件のアーカイブを構築した。そして、LLMに、米国人の代表標本が実験刺激にどのように反応するかをシミュレートさせ、シミュレートされた回答を異なる条件間で比較することにより処置効果を推定した。GPT-4の訓練データのカットオフ日はアーカイブ内の多くの研究が公表される前であったが、GPT-4から得られた予測は、実際の処置効果と強く相関しており、複数の人間による予測を統合した場合と同程度の精度に達した。LLMの訓練データのカットオフ日までに公表も一般公開もされていなかった研究でも相関は高く、主要なオープンウェイトモデルによる予測でも相関は高かった。ただし、こうした高い相関にもかかわらず、LLMによる予測では効果量が系統的に過大評価されていた。606件の効果を含む15件のメガスタディーからなる別のアーカイブでは、相関は低下したものの、それらは複数の専門家による予測を統合した結果と同程度であった。我々は、科学的実践への影響を評価するため、460人の社会科学者を対象に、想定される用途と認識されているリスクについて調査を行い、我々のアーカイブを用いて、複数の用途（パイロット試験、介入の選択、追試が必要な効果の特定）とリスク（バイアス、誤用）を評価した。統合するとこれらの結果は、LLMが科学研究と実践において実験方法を補強できることを示すとともに、責任ある使用に関する重要な検討課題を提起している。
