計算機科学：大規模で指示可能な言語モデルほど信頼性は下がる

大規模言語モデルをさらに強力で扱いやすいものにするためによく使われる方法は、継続的なスケールアップ（つまり、サイズ、データ量、計算資源を増やすこと）と、個別に最適なシェイプアップ（ポストフィルタリング、微調整、または人間によるフィードバックの使用など）に基づいてきた。しかし大規模言語モデルは、より大規模で指示可能であるほど、信頼性が低下する可能性がある。今回我々は、いくつかの言語モデル群の難易度の一致、タスク回避、プロンプトの安定性の間の関係を調べることで、人間の参加者にとって簡単なインスタンスはモデルにとっても簡単だが、スケールアップされシェイプアップされたモデルでは、モデルが誤りを起こさないまたは人間の監視者が誤りを突き止めることができるような、低難易度の領域が保証されなくなることを示す。我々はまた、初期のモデルはユーザーからの質問を回避することが多いが、スケールアップされシェイプアップされたモデルは、人間の監視者が見過ごすことの多い難しい質問に対する誤りを含め、一見賢明であるが間違った回答を与える頻度がずっと多くなる傾向があることも見いだした。さらに、同一質問の異なる自然な言い回しに対する安定性は、スケールアップとシェイプアップを介することで向上するが、変動性のポケットは異なる難易度レベルにわたって残り続けることも観測された。これらの知見は、特に予測可能な誤り分布が重要となる高リスクの領域では、汎用人工知能の設計と開発において根本的な転換が必要であることを強調している。

目次へ戻る