人工知能：意味エントロピーを用いた大規模言語モデルにおけるハルシネーション検出

ChatGPTやGeminiなどの大規模言語モデル（LLM）系は、推論や質問回答の優れた能力を発揮できるが、誤った出力や根拠のない回答という「ハルシネーション（幻覚）」が現れることが頻繁にある。信頼できない回答や必要な情報を伴わない回答はさまざまな分野での採用の妨げとなり、判例の捏造や事実無根のニュース記事、さらには放射線医学などの医療分野では人命に関わる危険性をもたらすといった問題もある。教師や強化を通じて真実性を高めることは、部分的にしかうまくいっていない。人間が答えを知らない可能性のある新たな未知の質問にもうまく対応する、LLMのハルシネーションを検出する一般的な方法が必要とされている。今回我々は、統計学に基づいた新しい方法を開発し、任意の不正確な生成である、幻覚の部分集合（すなわち作話）を検出する、エントロピーに基づくLLM用の不確かさ推定器を提案する。今回の手法は、単語の特定の並びではなく意味のレベルで不確かさを計算することによって、1つの概念が多くのやり方で表現され得るという事実に対処している。今回の手法は、タスクの先験的な知識なしに、複数のデータセットとタスクにまたがってうまく働き、タスク固有のデータを必要とせず、これまでに見られなかった新しいタスクに対してもロバストに一般化する。今回の手法は、プロンプトがいつ作話を生成する可能性があるかを検出することによって、LLMにいつ細心の注意を払うべきかをユーザーが理解するのに役立ち、他の場合であれば信頼性のなさによって妨げられていたLLMの使用に向けた新たな可能性を切り開く。

目次へ戻る