人工知能：記述式設問に対するChatGPTの答案は大学生の答案を上回ることもある

ChatGPTは、大学のさまざまな科目（例えば、計算機科学、政治学、工学、心理学）の記述式設問に回答する際、学生の平均成績と同等かそれ以上の成績だったことを報告する論文が、Scientific Reportsに掲載される。今回の研究では、調査対象となった学生の約4分の3が、大学で与えられる課題を解決する際にChatGPTの助けを借りたいと考えているのに対して、多くの教官がChatGPTの使用は剽窃行為に当たると考えていることも明らかになった。

今回Talal RahwanとYasir Zakiは、ChatGPTが大学の記述式設問への答案作成において、学生と比較してどのような性能を発揮するか調べるために、ニューヨーク大学アブダビ校（NYUAD）で合計32講座の担当教官に呼び掛けて、学生に課した10項目の記述式設問とそれぞれの設問に対する3人の学生の答案を提供してもらった。次に、ChatGPTにこの10項目の設問に対する答案（それぞれの設問につき3種類の答案）を作成させて、採点者3人（誰が答案を作成したかを知らされていない）が学生とChatGPTの答案を評価した。32講座のうち9講座で、ChatGPTが作成した答案の平均評点が、学生の答案の平均評点と同等かそれ以上だった。学生の方が常にChatGPTより優れていたのは、数学と経済学の講座だけだった。ChatGPTの平均評点が学生の平均評点を大きく上回っていたのは、「公共政策入門」講座だった（9.56対4.39）。

著者らはまた、ブラジル、インド、日本、米国、英国の1601人（各国の少なくとも200人の学生と100人の教官を含む）を対象として、大学で与えられる課題を解決する際にChatGPTを使用してもよいかというテーマで意識調査を行った。学生の74％は、大学に提出する課題に取り組む際にChatGPTを使用するだろうと回答した。これとは対照的に、全ての国の教官は、ChatGPTを使用するつもりだと回答する学生の比率を実際よりも低く見積もっており、教官の70％は、ChatGPTの使用を剽窃行為として対処すると回答した。

さらに、著者らは、AIが生成したテキストを識別するための2種類のツール（GPTZeroとAI text classifier）を検証した結果、ChatGPTが作成した答案を人間が作成した答案と誤って判別した比率は、GPTZeroが32％、AI text classifierが49％だったと報告している。

今回の知見を総合すると、教育現場でのAIツールの使用に関する政策に役立つかもしれない数々の手掛かりが垣間見える。

doi: 10.1038/s41598-023-38964-3

「注目の論文」一覧へ戻る