世界の数十の学術機関に所属する人工知能（AI）研究者を対象とした調査により、彼らの多くが、AI研究に利用できる計算能力の大きさが限られていることに不満を抱いていることが明らかになった。

2024年10月30日にプレプリントサーバーarXivに投稿されたこの調査結果は、学術研究者らが最先端の計算システムにアクセスできずにいることを示唆している（A. Khandelwal et al. Preprint at arXiv https://doi.org/nt67; 2024）。この状況は、彼らが大規模言語モデル（LLM）を開発したり他のAI研究を行ったりする上で支障となる恐れがある。

例えば学術研究者は、十分に強力な画像処理装置（GPU）を入手するための資金がない場合がある。GPUはAIモデルの訓練に一般的に使用されるコンピューターチップで、1個数千ドル（数十万円）もすることがある（2024年10月号「AIを加速する：コンピューティング革命を牽引する最先端チップ」参照）。一方、大手テック企業の研究者は予算が潤沢で、GPUを購入するために巨額の資金を投じることができる。今回の論文の責任著者の1人で、ブラウン大学（米国ロードアイランド州プロビデンス）の計算機科学者であるApoorv Khandelwalは、「GPUを1個追加するごとに処理能力は大きくなります」と言う。「大手テック企業にはGPUが何千個もあるのに、学術研究機関には数個しかなかったりするのです」。

非営利AI研究機関エリューサーAI（EleutherAI、米国ワシントンD.C.）のエグゼクティブ・ディレクターであるStella Bidermanは、「学術界と産業界のモデルの性能の差は非常に大きいですが、この差はもっと小さくできるはずです」と言う。彼女は、学術界と産業界の格差に関する今回の研究は「極めて重要」だと考えている。

長い待ち時間

Khandelwalらは、学術研究者が利用可能な計算資源を評価するために、35の研究機関に所属する50人のAI研究者を対象に調査を実施した。その結果、回答者の66％が、自分たちの計算能力に対する満足度を5段階評価で3以下と評価していることが明らかになった。「彼らは全く満足していません」とKhandelwalは言う。

GPUへのアクセス方法は、大学ごとに異なっている。一部の大学では、学科や学生が共有する中央計算クラスターがあり、研究者はGPU使用時間を申請することができる。研究室のメンバーが直接利用できるマシンを大学が購入している場合もある。

一部の回答者は、GPUにアクセスするには何日も待たなければならないと回答し、特にプロジェクトの締め切り間際には待ち時間が長くなると説明した（「不足する計算能力」参照）。今回の調査結果は、世界のアクセス格差も浮き彫りにした。例えば、回答者の1人は、中東でGPUを見つけることの難しさについて語っている。エヌビディア社（NVIDIA）のH100 GPUはAI研究用に設計された強力なチップであるが、これにアクセスできると回答した研究者は調査対象者のわずか10％であった。

この障壁によって特に困難になるのは、膨大なデータを使用してLLMを訓練する事前学習のプロセスだ。Khandelwalは、「事前学習には高額な費用がかかるので、ほとんどの学術研究者は、事前学習に関する研究を行うことなど考えもしません」と言う。Khandelwalらは、学術研究者はAI研究に独自の視点を提供しており、彼らの計算能力へのアクセス不足がこの分野の発展を妨げている可能性があると考えている。

論文の責任著者の1人で、ブラウン大学で計算機科学と言語学を研究するEllie Pavlickは、「長期的な成長と長期的な技術開発のためには、健全で競争的な学術研究環境が非常に重要になります」と言う。「産業界の研究には明確な商業的圧力があり、時に、探究を控えて実用化を急ぐというインセンティブが働くからです」。

効率的な手法

Khandelwalらは、学術研究者が、あまり性能の高くない計算資源を有効活用する手法についても調べた。彼らは、計算資源に制約のあるハードウエア（1～8個のGPUを搭載）を使って、複数のLLMの事前学習にかかる時間を計算した。多くのモデルは、計算資源は限られていてもうまく訓練することができたが、時間は長くかかり、より効率的な方法を採用する必要があった。

「私たちは手持ちのGPUをより長時間使用できるので、産業界との格差をある程度埋めることができます」とKhandelwalは言う。

ニューロエクスプリシット（neuroexplicit）モデル（註：ニューラルネットワークの要素と人間が解釈可能な明示的要素を組み合わせたモデル）について研究しているザールラント大学（ドイツ・ザールブリュッケン）のJi-Ung Leeは、「限られた計算資源で、多くの人が想定しているよりも大きなモデルを実際に訓練できるのは素晴らしいことです」と言う。彼はまた、今後の研究では、同じく計算資源へのアクセスに苦労している小規模テック企業の研究者たちの経験を調べてみてはどうかと言う。「無制限に計算資源を利用できる人ばかりではありませんから」。

翻訳：三枝小夜子