人工知能:記述式設問に対するChatGPTの答案は大学生の答案を上回ることもある
Scientific Reports
2023年8月25日
ChatGPTは、大学のさまざまな科目(例えば、計算機科学、政治学、工学、心理学)の記述式設問に回答する際、学生の平均成績と同等かそれ以上の成績だったことを報告する論文が、Scientific Reportsに掲載される。今回の研究では、調査対象となった学生の約4分の3が、大学で与えられる課題を解決する際にChatGPTの助けを借りたいと考えているのに対して、多くの教官がChatGPTの使用は剽窃行為に当たると考えていることも明らかになった。
今回Talal RahwanとYasir Zakiは、ChatGPTが大学の記述式設問への答案作成において、学生と比較してどのような性能を発揮するか調べるために、ニューヨーク大学アブダビ校(NYUAD)で合計32講座の担当教官に呼び掛けて、学生に課した10項目の記述式設問とそれぞれの設問に対する3人の学生の答案を提供してもらった。次に、ChatGPTにこの10項目の設問に対する答案(それぞれの設問につき3種類の答案)を作成させて、採点者3人(誰が答案を作成したかを知らされていない)が学生とChatGPTの答案を評価した。32講座のうち9講座で、ChatGPTが作成した答案の平均評点が、学生の答案の平均評点と同等かそれ以上だった。学生の方が常にChatGPTより優れていたのは、数学と経済学の講座だけだった。ChatGPTの平均評点が学生の平均評点を大きく上回っていたのは、「公共政策入門」講座だった(9.56対4.39)。
著者らはまた、ブラジル、インド、日本、米国、英国の1601人(各国の少なくとも200人の学生と100人の教官を含む)を対象として、大学で与えられる課題を解決する際にChatGPTを使用してもよいかというテーマで意識調査を行った。学生の74%は、大学に提出する課題に取り組む際にChatGPTを使用するだろうと回答した。これとは対照的に、全ての国の教官は、ChatGPTを使用するつもりだと回答する学生の比率を実際よりも低く見積もっており、教官の70%は、ChatGPTの使用を剽窃行為として対処すると回答した。
さらに、著者らは、AIが生成したテキストを識別するための2種類のツール(GPTZeroとAI text classifier)を検証した結果、ChatGPTが作成した答案を人間が作成した答案と誤って判別した比率は、GPTZeroが32%、AI text classifierが49%だったと報告している。
今回の知見を総合すると、教育現場でのAIツールの使用に関する政策に役立つかもしれない数々の手掛かりが垣間見える。
doi:10.1038/s41598-023-38964-3
「Nature 関連誌注目のハイライト」は、ネイチャー広報部門が報道関係者向けに作成したリリースを翻訳したものです。より正確かつ詳細な情報が必要な場合には、必ず原著論文をご覧ください。
注目のハイライト
-
進化:ワニはどのようにして皮膚を得たのかNature
-
天文学:Firefly Sparkleが初期の銀河形成に光を当てるNature
-
医学:マウスの子癇前症に対するmRNA療法の提供Nature
-
気候変動:世界的な観光産業による二酸化炭素排出量は増加し、不平等であるNature Communications
-
加齢:脳の老化に関連する重要なタンパク質の発見Nature Aging
-
量子コンピューティング:新しいチップで量子エラー訂正が改善Nature