計算機科学：大規模言語モデルを用いたプログラム探索から得られる数学的発見
Nature 625, 7995 doi: 10.1038/s41586-023-06924-6
大規模言語モデル（LLM）は、定量的推論から自然言語の理解まで、複雑なタスクを解決する極めて大きな能力を実証してきた。しかし、LLMは時として作話（または幻覚）という問題を抱え、その結果、もっともらしいが正しくない発言を行うことがある。これが、科学的発見における現在の大規模モデルの使用を阻んでいる。今回我々は、事前学習させたLLMと系統的評価器の組み合わせに基づく進化的手順であるFunSearch（関数空間における探索〔searching in the function space〕の略）を報告する。我々は、重要な問題において最もよく知られた結果を上回ることで、この手法の有効性を実証し、LLMを用いた既存の手法の限界を押し上げる。極値組み合わせ論における中心的な問題であるキャップ集合問題にFunSearchを適用することで、有限次元の場合と漸近的な場合の両方において、最もよく知られたものを超える大きなキャップ集合の新しい構成法を発見した。これは、LLMを用いて、確立された未解決問題に関する発見を行えることを示している。我々はまた、オンライン・ビン・パッキングというアルゴリズム問題にFunSearchを適用することによってその汎用性を示し、広く使われているベースラインを改良する新しい発見的問題解決法を見いだした。計算機検索手法の大半とは対照的に、FunSearchは、解がいかなるものであるかではなく、問題をいかに解くかを記述するプログラムを検索する。発見されたプログラムは、効果的でスケーラブルな戦略であることを超えて、生の解よりもさらに解釈可能である傾向があることから、ドメインエキスパートとFunSearchの間のフィードバックループや、実世界の応用におけるそうしたプログラムの展開が可能になる。
