計算機科学:GPT-3は類推によって推論できる
Nature Human Behaviour
2023年8月1日
Computer science: GPT-3 able to reason by analogy
大規模言語モデルGPT-3は、直接的な訓練なしに、複雑な推論課題を遂行して、人間の参加者と同等かそれ以上のレベルで問題に対する妥当な解を見つけられることを報告する論文が、Nature Human Behaviourに掲載される。
人間の知性の特徴の1つは、以前に遭遇したことのない新たな問題を解決できる能力である。認知科学者たちは、こうした問題解決は、「類推」として知られる重要なメンタルツールによると考えている。類推とは、なじみのない問題と過去に遭遇したことのある問題との間の類似性を見分けて妥当な解を見つける能力である。
今回、Taylor Webbらは、大規模言語モデルGPT-3の類推課題に関する成績の評価を行い、得られた結果を人間の成績と比較した。評価対象の課題は、文章に基づく行列推理問題、文字列の類推、話し言葉の類推、ストーリーの類推で、いずれも、パターンが特定された後に新たな状況に適用される必要があるものだった。例えば、提示された1つの問題は「love:hate :: rich:[ ]」のパターンを完成させよというもので、[ ]に入る正しい答えは「poor」となる(「love(愛)」の反対語は「hate(憎しみ)」で、「rich(裕福な)」の反対語は「poor(貧しい)」であるから)。課題の多くは、GPT-3が過去に受けた訓練セットの回答を繰り返さないように設計された。その結果、GPT-3が抽象的なパターンの誘導に関して、大半の試験において人間の参加者と同等か、あるいはそれを上回る強い能力を示すことが明らかとなった。
Webbらは、GPT-3による類推には限界があると述べており、その理由は、GPT-3が長期記憶を備えておらず、類推課題を遂行できるのは関連する材料が全て提供された場合のみだからである。また、GPT-3がこうした問題を人間と同じように解決しているかは不明であると結論している。
doi: 10.1038/s41562-023-01659-w
注目の論文
-
11月29日
気候:2026年ワールドカップの開催地は、サッカー選手に熱ストレスのリスクをもたらすScientific Reports
-
11月26日
健康:イングランドにおけるカロリー表示の効果の評価Nature Human Behaviour
-
11月21日
生物学:全ヒト細胞アトラスの作成Nature
-
11月21日
健康科学:イカに着想を得た針を使わない薬物送達システムNature
-
11月19日
メンタルヘルス:50歳以上の成人のウェルビーイングは、インターネットの利用によって改善される可能性があるNature Human Behaviour
-
11月19日
健康:肥満に関する記憶は細胞に書き込まれるNature