人工知能：大規模マルチモーダルモデルに向けた次トークン予測を用いるマルチモーダル学習

テキスト、画像、動画など、複数のモダリティーにわたって学習・生成を行うことのできる統一アルゴリズムの開発は、人工知能における根本的な難題である。次トークン予測は、大規模言語モデルの大きな発展を牽引してきたものの、そのマルチモーダル領域への拡張は依然制限されており、画像や動画の合成用の拡散モデルや、視覚エンコーダーを言語モデルと統合する構成的フレームワークが依然主流となっている。今回我々は、次トークン予測のみを用いて訓練されたマルチモーダルモデル群「Emu3」を提示する。Emu3は、知覚と生成の両領域にまたがって、十分に確立されたタスク特化型モデルと同等の性能を発揮し、拡散アーキテクチャーや構成的アーキテクチャーを必要とせずにフラッグシップ級のシステムに匹敵する性能を示した。Emu3はさらに、一貫性のある高忠実度の動画生成、インターリーブされた視覚–言語生成、ロボット操作のための視覚–言語–行動モデル化を実証する。Emu3は、マルチモーダル学習を統一的なトークン予測へと還元することによって、大規模マルチモーダルモデル化の確固とした基盤を確立し、統一的なマルチモーダル知能への有望な道筋を提供する。

目次へ戻る