大規模言語モデル：説明力と予測力によるAI評価を可能にする一般尺度
Nature 652, 8108 doi: 10.1038/s41586-026-10303-2
人工知能（AI）の安全かつ効果的な使用を確実にするには、先端科学の課題から、様変わりした職場活動に至るまで、新たなタスク上でのAIの性能を理解し予測することが必要である。現状では、ベンチマークがAIを進歩させる指針となってきたが、汎用AIシステムに対しては、特定のタスク間での転移可能性が限られているため、得られる説明力と予測力は限定的なものだった。今回我々は、一般的なAIベンチマークが真に測定するのがどのような性能なのかを説明する要求プロファイルを導出し、AIシステムの一般的な強みと限界を定量化する能力プロファイルを抽出し、新たなタスクインスタンスに対するAIの性能を堅牢に予測する、AI評価のための「一般尺度」を提示する。我々の完全に自動化された方法は、幅広い認知的要求や知的要求を捉えた18のルーブリック（評価基準）を土台にしており、これは、異なるタスクインスタンスを同一の一般尺度上に置いて、15の大規模言語モデル（LLM）と63のタスクについて例証される。こうした尺度上の要求プロファイルと能力プロファイルは共に、ベンチマークの感度と特異度を通じて構成妥当性などの新たな知見をもたらし、AIが推論能力を有するかどうかに関する相反する主張を説明する。最終的に、この一般尺度を用いることで、インスタンスレベルでの高い予測力が可能になり、特に分布から外れた設定（新しいタスクやベンチマーク）において、強力なブラックボックス型ベースライン予測器よりも優れた推定値を提供する。今回提示された尺度、ルーブリック、ベンチマークのセット、技術、結果は、AI評価の科学における強固な基盤を構成し、今後数年でのAIの確実な導入を支えるものである。
