機械学習：バイト単位で動作するように言語モデルを改変する

人工知能（AI）の近年の進歩は、その大部分が、トークンと呼ばれる離散的な単位を対象に動作する深層ニューラルネットワークである大規模言語モデル（LLM）によって牽引されてきた。大半のLLMは、テキストを表現するために単語または単語の断片をトークンとして用いており、後者はサブワードトークン化と呼ばれる。サブワードトークン化は細粒度の情報を見えにくくするため、コンピューターコードや生物学的配列など、意味が個々の文字やバイトに依存する科学データでは特に問題となる。これに対し、テキストのバイト符号化表現を直接処理するモデルはこうした制約を回避するが、これまでは性能面でサブワードに基づくモデルに後れを取ってきた。本研究で我々は、バイト化（byteification）によって、サブワードに基づくシステムの能力に迫るバイトレベルのLLMを構築する汎用的な手法を提示する。我々は、2段階の変換手順を用い、最小限の追加学習で、既存のサブワードに基づくモデルをバイトレベルのモデルへ改変した。得られたモデルは、以前のバイトレベルの手法の性能を上回るとともに、文字レベルの推論課題で優れた能力を発揮し、バイトレベルの情報を効率的に処理することで実用的な推論速度を、そして変換元のLLMを取り巻く既存のエコシステムを再利用することで適応性を達成した。本結果は、エンドツーエンドのバイトレベル言語モデル化における長年の性能上の障壁を取り除くもので、テキストの生の符号化表現を処理するモデルが、細粒度のテキスト理解を必要とする分野で利点をもたらしながら、競争力を保って規模を拡大できることを示している。

目次へ戻る